Dove diventa visibile un attacco all’AI
Un agente può completare un’attività per un cliente dopo aver letto un file inserito di proposito. Un attaccante può invece distribuire le richieste per copiare un modello tra più account, oppure lasciare materiale fuorviante in un file che resta disponibile in una sessione successiva. Ogni via pone una domanda diversa su ciò che un controllo di sicurezza può vedere.
Gli studi offrono una risposta circoscritta: i test in ambienti di lavoro possono verificare se un contenuto raggiunge un agente e lo induce a un’azione non autorizzata; il monitoraggio delle richieste può rilevare alcune campagne coordinate; la revisione dei prodotti salvati può aiutare gli agenti a riconsiderare le proprie azioni. I risultati misurano esiti diversi in contesti diversi.
Cosa comprenderai
Come può un agente completare un’attività professionale e al tempo stesso perseguire l’obiettivo di un attaccante?
Che cosa rende rilevabile un gruppo di richieste sospette rispetto agli interessi condivisi degli utenti comuni?
Che cosa si può stabilire, nel workflow testato, esaminando un prodotto salvato e l’azione proposta?
Tre vie d’attacco a un workflow AI
Immaginate un assistente che prepara una valutazione di un cliente o un parere legale in un ambiente di lavoro condiviso. Ha bisogno di documenti che i colleghi possono creare o modificare e potrebbe anche avere accesso a informazioni riservate sui clienti.
Un documento inserito di proposito può sembrare pertinente all’incarico e contenere al tempo stesso una richiesta che il cliente non ha mai autorizzato. Il problema immediato è concreto: l’assistente aprirà il documento? E, se lo farà, eseguirà quella richiesta?
Lo stesso assistente potrebbe riprendere il lavoro in una sessione successiva. Una skill riutilizzabile, cioè un pacchetto di istruzioni e materiali di supporto per un’attività, potrebbe averlo indotto a salvare in un file indicazioni o fatti fuorvianti durante la prima sessione.
In seguito, un’altra skill può indirizzarlo verso quel file, quando la conversazione precedente non è più disponibile. In questo caso, l’influenza dell’attaccante passa da un prodotto di lavoro salvato, invece che da un documento inserito appositamente al momento dell’uso.
Un fornitore di modelli deve affrontare una terza via. Chi cerca di copiare un modello può raccoglierne le risposte attraverso molti account, facendo sembrare ordinarie le richieste inviate da ciascun account.
Il fornitore vede le richieste, ma potrebbe non sapere quali account appartengono allo stesso gruppo. In tutti questi esempi la domanda comune è dove diventa visibile l’influenza malevola e se le prove disponibili riguardano il semplice contatto con materiale sospetto, il rilevamento di una campagna o un’azione non autorizzata.
Come prosegue la lezione
Quando un contenuto raggiunge l’agente
Riconoscere gli account coordinati
Come un file salvato guida un’azione