Test abbinati: il decoding vincolato non riduce necessariamente l’accuratezza
Constrained Decoding: Harmful or Beneficial? Revisiting Its Impact on LLM Performance · arXiv:2610.35328
In parole semplici
A volte i modelli linguistici non riescono a dare una risposta nella forma richiesta, per esempio come oggetto JSON. Questo paper studia se le regole che limitano le parole generabili dal modello rendano meno accurato anche il suo ragionamento.
Gli autori confrontano le risposte mantenendo invariati il prompt e il formato richiesto. In questi confronti, imporre il formato ed escludere le risposte incompatibili con l’attività ha in genere mantenuto o migliorato l’accuratezza.
Il risultato vale per i modelli e le attività testati: non significa che ogni tipo di restrizione sia utile.
La ricerca
Quando un modello linguistico deve restituire una risposta strutturata, può non rispettare il formato richiesto. Confronti precedenti hanno rilevato anche una minore accuratezza nel ragionamento con formati strutturati, ma cambiavano contemporaneamente prompt e formati. Limitare i token generabili dal modello causa la perdita di accuratezza?
Il paper distingue i vincoli di formato, validità della risposta e ragionamento, poi verifica se limitare i token generati cambia l’accuratezza a parità di prompt e formato.
Per capire se le restrizioni sui token riducano l’accuratezza del ragionamento, gli autori confrontano la generazione vincolata e quella non vincolata mantenendo uguali il prompt e il formato di output richiesto.
Una risposta è considerata corretta solo se quella estratta coincide esattamente con la risposta di riferimento.
Nei modelli e nelle attività testati, i vincoli di formato e di validità ottengono risultati pari o superiori alla generazione non vincolata.
Questo suggerisce che la minore accuratezza osservata confrontando formati diversi non dimostra, da sola, un danno causato dal constrained decoding, perché quei confronti cambiano anche prompt e formati.
Gli esperimenti riguardano modelli, prompt, formati e attività di ragionamento specifici; i vincoli di validità sono stati testati soprattutto su due attività di concatenazione di lettere. Anche il risultato teorico presuppone che il vincolo ammetta la risposta corretta.
Cosa mostrano le prove
- Separare formato e decoding
Questo paper presenta una tassonomia e esperimenti sul constrained decoding, che limita i token generabili da un modello linguistico. La domanda è se la minore accuratezza talvolta osservata nelle risposte strutturate dipenda da queste restrizioni o dalle differenze nei prompt e nei formati richiesti.
La distinzione conta per interpretare i confronti: se cambiano più condizioni insieme, una differenza di accuratezza non permette di capire quale cambiamento l’abbia determinata.
- Il divario tra formati ha fattori confondenti
Gli autori confrontano il ragionamento in JSON con approcci che lasciano il modello libero di ragionare e formattano la risposta dopo. L’accuratezza è diversa, ma anche i prompt e i formati attesi cambiano.
Questa osservazione motiva un confronto più controllato, ma non dimostra che il constrained decoding abbia causato la differenza.
- Confronti abbinati verificano la causa
Nel confronto più diretto, prompt e formato di output atteso restano uguali mentre si confrontano generazione vincolata e non vincolata. Una risposta è considerata corretta se quella estratta coincide esattamente con la risposta corretta.
Nei modelli e nelle attività testati, i vincoli di formato e di validità ottengono risultati pari o superiori alla generazione non vincolata. Questo indebolisce l’ipotesi che, in queste condizioni, limitare i token riduca inevitabilmente l’accuratezza.
- Vincoli diversi hanno effetti diversi
Il paper distingue le regole che impongono una struttura da quelle che escludono anche le risposte fuori dallo spazio ammesso per un’attività. In due attività di concatenazione di lettere, aggiungere regole di validità porta in genere miglioramenti di accuratezza più costanti rispetto alle sole regole di formato.
Gli schemi di ragionamento obbligatori hanno effetti meno uniformi: possono essere d’aiuto, ma in un test con un modello e un’attività matematica l’accuratezza è diminuita quando è stato aggiunto uno schema di questo tipo.
Dettagli
- Autori del paper originale
- Ngoc Trinh Hung Nguyen, Alonso Silva, Armen Aghasaryan, Mehwish Alam
- Inviato ad arXiv
- Licenza
- CC BY 4.0