Estrarre statistiche di attenzione senza memorizzare matrici complete
In parole semplici
Il paper sviluppa un modo per raccogliere indizi dall’attenzione di un modello linguistico senza salvare una grande tabella con tutti i pesi di attenzione. Un modello Qwen3 separato e con pesi congelati legge il contesto, la domanda e la risposta; poi un classificatore addestrato usa quegli indizi per valutare se la risposta è supportata dal contesto.
In una configurazione testata, raccogliere statistiche per cinque rilevatori ha aggiunto meno tempo relativo all’elaborazione di Qwen3-8B con input più lunghi rispetto a quelli più brevi. Il rilevatore controlla il supporto nel contesto fornito, non la verità in generale.
La ricerca
Un rilevatore di risposte non supportate potrebbe dover esaminare un modello diverso da quello che le ha scritte, perché il modello autore potrebbe non esporre il proprio funzionamento interno. Un modello separato può usare indizi di attenzione per verificare se una risposta è coerente con il contesto fornito? E si possono raccogliere quegli indizi senza memorizzare una grande matrice di attenzione?
Il paper presenta un metodo e un backend Triton per estrarre statistiche di attenzione senza memorizzare le matrici complete, poi valuta rilevatori proxy del supporto nel contesto.
Un rilevatore può verificare se una risposta è coerente con il contesto fornito quando non si può ispezionare il modello che l’ha scritta?
Il paper valuta un proxy Qwen3 separato e con pesi congelati: legge il contesto, la domanda e la risposta, poi usa un classificatore addestrato per prevedere se il contesto la supporta.
Su tre dataset, gli autori confrontano classificatori con e senza caratteristiche di attenzione e rilevatori proxy con valutatori guidati da prompt. Un proxy 4B supera il valutatore testato più forte nell’F1 su due dataset, mentre un proxy 0.6B lo fa sul terzo. L’F1 bilancia le risposte non supportate individuate con i falsi allarmi.
I risultati riguardano i dataset, i modelli proxy Qwen3, i valutatori e l’implementazione testati. Il proxy valuta il supporto fornito dal contesto e due statistiche implementate differiscono dalle definizioni pubblicate; le due versioni non sono state confrontate nei test di rilevamento.
Analisi
Dettagli
- Autori del paper originale
- Andrei Volodichev, Maksim Savichev, Nikita Sviridov, Artem Yuliy, Dmitry Simakov
- Inviato ad arXiv
- Licenza
- CC BY 4.0