Le etichette nel testo aiutano i modelli a localizzare i segmenti

Quando un modello linguistico individua una frase in un brano, come possiamo sapere esattamente a quale occorrenza si riferisce? La frase generata potrebbe essere modificata o comparire più volte nell’input, rendendola difficile da localizzare.

L’articolo chiede se un modello possa contrassegnare direttamente i segmenti in una copia del testo, fissandone la posizione durante la generazione.

Il tagging vincolato fa copiare l’input al modello e contrassegnare i segmenti direttamente nel testo, fissandone la posizione in caratteri mentre genera le etichette.

Il metodo vincola il modello a copiare l’input e aggiungere etichette valide nel testo, fissando così la posizione di ogni segmento durante la generazione. Gli autori lo hanno confrontato con l’assegnazione di etichette usando gli stessi prompt e la stessa formattazione, ma senza il vincolo, misurando l’hard F1, che richiede anche la corrispondenza dell’etichetta prevista.

Con batch size 1, la media su tre seed era più alta con il tagging vincolato in cinque dei sei dataset e più bassa in Toxic Spans. I risultati sostengono un beneficio nella maggior parte dei dataset testati, mentre la garanzia di copia dipende dal completamento della generazione.

Il metodo fissa la posizione dei segmenti copiati, ma non garantisce che il modello scelga i segmenti giusti o i confini corretti. I risultati riguardano i modelli, i dataset e i prompt testati; le piccole differenze nei punteggi non sono state verificate con test di significatività statistica.