Chiosa
AI Security & Safety

L'identità di un publisher può aiutare gli agenti a filtrare le affermazioni sui rivali (F1)

2 min
Pubblicato su Chiosa Aggiornato

In parole semplici

Quando un agente sceglie tra offerte in competizione, un publisher può fare un'affermazione su un rivale che sembra un dato di fatto. Il paper introduce un controllo che usa l'identità del publisher già associata a una voce di catalogo per stabilire se quel publisher abbia il diritto di fare quell'affermazione.

Il controllo verifica il permesso di parlare, non se l'affermazione sia vera. In un test comparativo, la rimozione delle frasi che il controllo aveva rifiutato ha bloccato 130 dei 131 attacchi costruiti che avevano influenzato la scelta dell'agente. Le scelte dell'agente non sono cambiate su nessuno dei due insiemi di voci ordinarie testati.

La ricerca

Quando un agente sceglie tra offerte in competizione, riesce a distinguere una descrizione ordinaria di un prodotto dall'affermazione infondata di un publisher su un rivale?

I controlli esistenti possono accettare tale affermazione perché arriva attraverso un canale legittimo ed è pertinente alla scelta dell'utente; la domanda mancante è se quel publisher abbia il diritto di farla.

Il paper introduce un controllo di standing che usa l'identità del publisher già legata al catalogo per segnalare affermazioni su offerte rivali prima che un agente scelga.

Il paper utilizza un controllo di standing per collegare l'identità del publisher di una voce di catalogo alle affermazioni estratte dalla sua descrizione.

In un test comparativo, il controllo ha guidato la rimozione delle frasi: i valutatori hanno riscontrato che ha bloccato 130 dei 131 attacchi costruiti che avevano influenzato una scelta, senza modificare alcuna selezione sui due insiemi naturali.

Questo risultato sostiene il controllo come metodo per ridurre questi attacchi preservando al contempo la capacità dell'agente di decidere. Altri approcci hanno anch'essi bloccato gli attacchi, rifiutando il compito o eliminando tutta la descrizione delle voci.

Gli attacchi erano costruiti appositamente, lo studio ha usato testo in inglese e un solo estrattore di affermazioni, e i risultati misurati si fermano alle scelte registrate.

Per misurare il costo del filtraggio è stata usata prosa ordinaria di catalogo, non la frequenza con cui compaiono affermazioni false; il controllo non stabilisce nemmeno se un'affermazione sia vera.

Analisi

Dettagli

Paper successivoOrdinary web posts can enter AI-search answers