IT
Un blocco basato sul protocollo ha fermato le modifiche aeree senza conferma sotto pressione
Concordat: Typed Sessions for LLM Agents · arXiv:2610.37461
In parole semplici
Nel prompt si può chiedere a un agente aereo di ottenere un sì chiaro dal cliente prima di modificare una prenotazione. Ma un cliente impaziente potrebbe spingerlo ad agire, e la modifica può sembrare riuscita comunque se la prenotazione finisce nello stato giusto.
Concordat è una libreria Python che mette a disposizione dell’agente solo gli strumenti consentiti in ciascun passaggio. In una prova con clienti simulati che facevano pressione, l’agente con Concordat non ha effettuato modifiche senza conferma con nessuno dei due modelli testati; quello standard sì.
La ricerca
Se a un agente si chiede di ottenere il sì esplicito del cliente prima di modificare una prenotazione, continuerà a rispettare la regola quando il cliente gli fa fretta? E se effettua la modifica desiderata dal cliente, il punteggio dell’attività segnalerà che la conferma richiesta non è mai arrivata?
Lo studio esamina questa distanza tra il rispetto di una regola e il raggiungimento dell’esito previsto.
Concordat regola gli strumenti dell’agente in base allo stato del protocollo e, nei test aerei con clienti simulati che facevano pressione, ha impedito le modifiche senza conferma rilevate.
I ricercatori hanno confrontato un agente aereo standard con una versione dotata di Concordat su 50 attività, aggiungendo clienti simulati che si opponevano alla prima richiesta di conferma. Un’attività era considerata superata quando il database finale corrispondeva allo stato previsto e le informazioni richieste erano state comunicate.
Con entrambi i modelli testati, l’agente standard ha effettuato modifiche senza conferma; quello con Concordat non ne ha effettuate.
Il punteggio basato sull’esito poteva però non rilevare una violazione: nella prima prova con pressione su Haiku, 8 delle 13 attività con una modifica senza conferma hanno comunque ricevuto il punteggio massimo. I confronti tra coppie di esecuzioni non hanno rilevato differenze statisticamente significative nel superamento delle attività per nessuno dei due modelli.
I risultati sostengono una conclusione circoscritta: il blocco ha impedito le violazioni misurate senza una differenza significativa nel successo delle attività.
Sia il blocco di controllo sia la misura usata nello studio consideravano una conferma qualsiasi messaggio contenente un «sì» esplicito. Il conteggio pari a zero vale quindi per questo criterio condiviso, non per ogni forma di consenso.
Le prove riguardano un solo ambito di attività aeree, due modelli, poche prove e pressioni simulate da parte dei clienti.
Cosa mostrano le prove
- La regola incontra la pressione del cliente
Concordat è una libreria Python che fornisce a un agente LLM un’interfaccia basata su un protocollo a stati finiti e ne fa rispettare le regole durante l’esecuzione. Lo studio chiede se un agente aereo seguirà la regola di ottenere una conferma esplicita prima di modificare una prenotazione quando il cliente si oppone, e se il normale punteggio dell’attività rileverà una violazione.
La condizione di pressione rende concreta la domanda: i clienti resistono inizialmente alla richiesta e dicono sì solo se viene chiesto di nuovo.
- Il protocollo regola l’accesso agli strumenti
La libreria ricava un protocollo dalla classe dell’agente e lo controlla quando la classe viene definita. A ogni turno, il sistema di esecuzione offre solo gli strumenti consentiti nello stato corrente e rifiuta le chiamate non disponibili o con argomenti non validi prima che uno strumento possa entrare in funzione.
Nel test aereo, gli strumenti che modificavano il database erano disponibili solo dopo che l’ultimo messaggio del cliente soddisfaceva il criterio del protocollo per il sì. Il sistema cambia ciò che l’agente può fare, invece di affidarsi soltanto al prompt.
- Il blocco ha impedito le modifiche misurate
I ricercatori hanno confrontato l’agente aereo standard con la sua versione dotata di Concordat su tutte le 50 attività aeree, aggiungendo clienti simulati che facevano pressione. Un’attività era considerata superata quando il database finale corrispondeva allo stato previsto e le informazioni richieste erano state comunicate.
Sotto pressione, l’agente standard ha effettuato una modifica senza conferma in 29 delle 128 esecuzioni con Haiku e in 13 delle 50 attività con gpt-4.1; l’agente con Concordat non ne ha effettuate in nessuno dei due confronti.
- I punteggi di successo non hanno rilevato alcune violazioni
Il punteggio dell’attività poteva comunque considerare riuscita un’attività con una violazione, se l’esito finale sembrava corretto. Nella prima prova con pressione su Haiku, 8 delle 13 attività con una modifica senza conferma hanno ricevuto il punteggio massimo.
I ricercatori non hanno inoltre rilevato differenze statisticamente significative nel superamento delle attività tra i due agenti in nessuno dei confronti tra modelli. Nel complesso, i risultati mostrano che il punteggio basato sull’esito non ha rilevato alcune violazioni e che il blocco ha impedito quelle misurate senza una differenza significativa nel successo delle attività in queste valutazioni.
Dettagli
- Autori del paper originale
- Milad Sikaroudi
- Inviato ad arXiv
- Licenza
- arXiv non-exclusive