IT
Un assistente pubblico verifica le cifre generate sulle procedure
In parole semplici
Un assistente per i servizi pubblici deve rispondere sulle procedure senza inventare costi né occuparsi di servizi fuori dalla propria competenza. Questo paper presenta un sistema che funziona sull’infrastruttura statale, consulta le schede ufficiali delle procedure e può rispondere, chiedere un chiarimento o astenersi.
In un test su 200 richieste, il sistema completo ha messo più spesso al primo posto la procedura giusta, oppure si è astenuto quando la richiesta era fuori dal catalogo statale, rispetto a un sistema più semplice basato su una soglia.
Il confronto modifica più componenti insieme, quindi non mostra quale di esse abbia determinato la differenza.
La ricerca
Un assistente per i servizi ai cittadini deve dare risposte utili senza inventare costi o requisiti, e riconoscere le richieste che superano le competenze del governo statale. Può farlo mantenendo le richieste sull’infrastruttura locale e permettendo ai cittadini di chiarire quelle incerte?
Il paper valuta un assistente locale per i servizi pubblici che recupera le procedure ufficiali, indirizza le richieste incerte e confronta le cifre generate con le schede.
Il paper presenta un sistema locale che recupera le procedure ufficiali e decide se rispondere, chiedere un chiarimento o astenersi. La domanda è se il sistema possa evitare rifiuti ingiustificati, gestire richieste fuori dalle competenze statali e limitare i costi inventati.
Su 200 richieste storiche, il sistema completo ha ottenuto l’86.50% di accuratezza rigorosa Top-1, contro il 76.50% di una configurazione di riferimento con soglia binaria e senza chiarimenti. La misura richiede che la procedura giusta sia al primo posto per le richieste in catalogo o che il sistema si astenga subito per quelle fuori catalogo.
Separatamente, gli auditor non hanno trovato cifre inventate nelle 40 risposte generate in produzione: un’evidenza circoscritta alle configurazioni e ai contesti sottoposti a test.
I risultati riguardano un solo portale statale e le configurazioni sottoposte a test.
Nell’audit in produzione non sono state trovate cifre inventate nelle 40 risposte generate, ma il limite superiore dell’intervallo di confidenza ammette un tasso nella popolazione fino all’8.81%; inoltre, spesso gli utenti non hanno risposto ai menu di chiarimento.
Cosa mostrano le prove
- La domanda sui servizi
Il paper presenta un sistema RAG governato e sovrano per i servizi ai cittadini sul portale ufficiale di Tlaxcala, in Messico. Il sistema recupera le schede ufficiali delle procedure e indirizza le richieste verso una risposta, una domanda di chiarimento o l’astensione.
Il progetto affronta il problema di fornire risposte utili senza inventare costi o requisiti, mantenere le richieste sull’infrastruttura locale e gestire quelle che esulano dalle competenze statali.
- Come gestisce l’incertezza
Prima di rispondere, il sistema verifica che le procedure recuperate offrano contesto e copertura sufficienti. Se procede verso una risposta specifica, una seconda fase confronta le procedure candidate e può proporre un menu quando le alternative sono simili, così che il cittadino possa chiarire la richiesta.
Dopo la generazione, un controllo confronta costi e durate di validità con la scheda recuperata e ricorre a un modello ufficiale se manca una cifra.
- Le evidenze del benchmark
In un test stratificato di 200 richieste storiche, il sistema completo C7 ha ottenuto l’86.50% di accuratezza rigorosa Top-1, contro il 76.50% della configurazione di riferimento B2, che usa una soglia binaria e non prevede un percorso di chiarimento.
Questa misura considera corretta una richiesta quando la procedura giusta è al primo posto per una richiesta in catalogo, oppure il sistema si astiene subito per una richiesta fuori catalogo. B2 ha respinto per errore 38 delle 130 richieste valide in catalogo, mostrando un limite di quella configurazione.
- Cosa sostengono i risultati
Il confronto riguarda configurazioni complete, non una verifica isolata di una singola componente: C7 include un instradamento a tre esiti e regole specifiche del portale, mentre B2 usa una soglia binaria. Separatamente, due analisti hanno esaminato 40 risposte generate in produzione e non hanno trovato cifre inventate rispetto alle schede recuperate.
Il limite superiore dell’intervallo di confidenza al 95%, a due code, era l’8.81%; il campione, quindi, non esclude un tasso diverso da zero nella popolazione.
- Dove si ferma la risposta
I casi osservati mostrano anche un limite pratico del chiarimento: 16 dei 30 cittadini a cui era stato proposto un menu non hanno risposto al secondo turno. Inoltre, il controllo numerico verifica che le cifre compaiano nella scheda recuperata, ma non garantisce che sia stata recuperata la procedura giusta, che i concetti al suo interno siano stati associati correttamente o che la scheda recepisca modifiche legislative successive.
Prima di estendere il sistema ad altre amministrazioni, anche le regole specifiche del portale devono essere validate.
Dettagli
- Autori del paper originale
- Andres Cruz Degante
- Inviato ad arXiv
- Licenza
- CC BY 4.0