Intern-Decision valuta scelte strutturate in un passaggio

Quando un agente deve scegliere uno strumento o un’azione da un insieme fisso, generare una risposta testuale completa può aggiungere lavoro prima che la scelta arrivi al sistema che deve usarla.

Un modello può restituire direttamente scelte strutturate e le relative probabilità, anche quando una richiesta contiene più campi?

Intern-Decision valuta risposte predefinite per più campi in un solo passaggio del modello e restituisce scelte strutturate e probabilità senza generare risposte libere.

Intern-Decision valuta le risposte consentite nei segnaposto di una risposta strutturata, gestendo in un solo passaggio più campi richiesti.

Gli autori confrontano i suoi modelli con altri sistemi in sette suite, misurando l’accuratezza decisionale e calcolando una media che assegna lo stesso peso a ciascuna suite.

La media del modello 4B è 90.02%, contro 88.74% per Jev. Questo sostiene una media più alta per i sistemi valutati secondo questi protocolli, pur con eccezioni nei risultati delle singole suite.

Il confronto dell’accuratezza riguarda i sistemi valutati e i test impiegati; non isola l’effetto della valutazione congiunta dei campi né quello delle dimensioni del modello.

Gli elementi pubblici di Jevbench hanno contribuito allo sviluppo, quindi sono diagnostici e non costituiscono una prova indipendente di generalizzazione.