Un parser conserva i segnali visivi utili agli agenti per trovare i requisiti
In parole semplici
Quando un documento Word o PDF viene convertito in testo, il colore o l’evidenziazione che segnala un requisito importante può scomparire. Questo paper presenta un parser basato sul codice che conserva questi segnali visivi e aggiunge indicazioni in parole semplici, così che un modello incaricato di rispondere possa usarli.
In un’attività basata su documenti di policy reali, Claude Opus 4.6 ha individuato più efficacemente i requisiti segnalati dagli autori usando il testo che conserva la formattazione, rispetto a Docling o al testo semplice. Il risultato riguarda quella specifica attività e quel modello.
La ricerca
Se un convertitore di documenti elimina il colore o l’evidenziazione ma conserva le parole, un modello incaricato di rispondere riesce ancora a capire quali requisiti l’autore aveva messo in evidenza?
È una domanda centrale per il risultato misurato dallo studio: se il modello recupera quei requisiti dal documento convertito.
Il parser trasferisce colore ed evidenziazione nel testo destinato a un modello incaricato di rispondere e verifica se questi segnali aiutano il modello a recuperare i requisiti segnalati dagli autori dei documenti di policy.
Nei documenti di policy reali, un modello incaricato di rispondere riesce a individuare i requisiti segnalati dagli autori quando la conversione conserva le parole ma perde i segni visivi? Il paper verifica se conservare quei segnali cambia il recupero.
Claude Opus 4.6 ha risposto alle stesse domande usando rappresentazioni diverse dei documenti, e un sistema deterministico ha confrontato le risposte con i marcatori originali. La versione che tiene conto della formattazione ha ottenuto 0.690 di micro F1, superando Docling e il testo semplice. Questo sostiene un vantaggio della conservazione della formattazione in questa attività.
Il risultato principale deriva da una specifica attività di recupero dei requisiti nei documenti di policy, e le etichette non sono ancora state verificate da annotatori umani.
Il recupero dei segnali dai PDF richiede inoltre un livello di testo utilizzabile, e i segnali tipizzati non hanno aiutato tutti i modelli valutati.
Analisi
Dettagli
- Autori del paper originale
- Yikai Zhao, Saurabh Pandey, Pradeep Kumar Misra
- Inviato ad arXiv
- Licenza
- arXiv non-exclusive