La scelta dei token può cambiare i punteggi di allucinazione misurati

Quando un test valuta se un modello visione-linguaggio riconosce gli oggetti, il punteggio dovrebbe dipendere da come chi valuta legge il primo token della risposta? Il paper esamina questa domanda con POPE, che ricava le risposte sì/no dai punteggi dei token.

Gli autori confrontano i readout per le risposte sì/no e rilevano che ricavarli dal tokenizer di ciascun modello cambia i punteggi POPE e previene gli errori dovuti a ID fissi.

Gli autori confrontano due modi per estrarre le risposte sì/no dal primo token della risposta di LLaVA-1.5-7B. Il contesto del prompt porta il modello a generare forme con uno spazio iniziale, incluse nella regola a otto token; la regola a due token confronta invece gli ID senza spazio. Nessuno dei due ID di quest’ultima regola è stato generato nelle 9.000 domande.

Sulle stesse previsioni adversarial, la regola a otto token ha ottenuto F1 pari a 0,8221, contro 0,7608 per quella a due token. Il confronto sostiene la conclusione che la scelta del readout può modificare il punteggio misurato da POPE senza cambiare le previsioni del modello.

Il confronto principale usa un solo checkpoint di LLaVA-1.5-7B e un solo livello di quantizzazione.

Gli autori non possono stabilire quanta parte dei miglioramenti pubblicati con i metodi esaminati resterebbe in una valutazione a condizioni comparabili: quegli articoli non specificano il readout usato e potrebbero adottare livelli di precisione o altre impostazioni diverse.