Los avisos en el chat ayudaron a limitar el cambio de creencias hacia el objetivo de un agente de IA

Cuando un agente de IA adapta sus argumentos durante una conversación, un simple aviso quizá no baste para que alguien entienda su consejo o sepa cómo responder. ¿Puede una interfaz explicar las tácticas del agente a medida que aparecen y mantener la información útil, sin abrumar a la persona?

DISARM añade etiquetas en el chat, explicaciones opcionales y un resumen de la conversación para que las personas puedan detectar e interpretar las tácticas manipuladoras de un agente a medida que aparecen.

Para probar las divulgaciones, los investigadores asignaron al azar a 488 participantes de Estados Unidos para conversar sobre uno de ocho temas con el mismo agente, ya fuera con DISARM o en un chat estándar. El agente tenía un objetivo oculto perjudicial y las conversaciones duraban entre 7 y 10 mensajes.

Los investigadores compararon las valoraciones de creencias antes y después. El desplazamiento medio hacia el objetivo del agente fue de 3,30 puntos con DISARM y de 15,30 sin la interfaz, en una escala de 0–100. Esta comparación aleatorizada respalda un efecto a corto plazo en el cambio de creencias.

El resultado se refiere a las valoraciones de creencias a corto plazo tras una conversación de 7–10 mensajes con un agente al que se le había asignado deliberadamente un objetivo oculto perjudicial.

DISARM se evaluó como un conjunto de funciones y sus etiquetas se basaron en el propio plan del agente, que no estaría disponible durante el uso real.