La compilation parallèle accélère le contrôle des modèles de langage à actions finies

Quand un modèle de langage doit choisir parmi un ensemble limité d’actions, peut-il faire dépendre les choix suivants des précédents sans payer un passage distinct du modèle pour chaque jeton généré ?

L’article examine si l’on peut calculer les décisions du contrôleur en parallèle tout en préservant la même règle, qui tient compte de l’historique.

La méthode évalue en parallèle les préfixes d’actions accessibles, préserve les choix d’un contrôleur à actions finies et remplace le décodage token par token par deux passages du modèle.

Les auteurs compilent un contrôleur contraint qui sélectionne des sections de documents en deux passages du modèle : le premier détermine le premier choix, et le second évalue ensemble les choix suivants accessibles tout en préservant l’historique de chacun.

Le contrôleur conserve ainsi sa règle de décision séquentielle sans générer son texte contraint jeton par jeton.

Sur QASPER, un jeu de données d’articles scientifiques utilisé pour répondre à des questions par recherche hiérarchique de sections, le contrôleur compilé a reproduit le parcours complet du contrôleur sériel pour 84–89 % des questions par partition dans quatre partitions, avec un modèle de 7B paramètres.

Il a réduit de 35–41 % la latence moyenne par question. En précision finie, les différences mesurées concernaient des décisions presque à égalité, tandis que la preuve d’équivalence suppose des calculs exacts.

Le résultat d’équivalence exacte suppose des calculs exacts et des masques, un ordre des candidats et des règles de départage identiques. Dans les essais réalisés en précision finie, les décisions presque à égalité différaient parfois.

Le contrôleur de recherche évalué utilisait des horizons allant jusqu’à trois actions, et la charge de calcul parallèle augmente fortement lorsque l’horizon s’allonge.