Ubicar la evidencia donde pueda informar una decisión
Un robot puede interpretar mal una sujeción, un juego puede compilar y comportarse mal, y un agente que usa herramientas puede acercarse a un cambio irreversible. La evidencia intermedia solo importa por la decisión que la recibe.
En cuatro estudios, las trazas informan el control de robots, la evaluación de sitios web, acciones robóticas posteriores o la revisión de una llamada a herramienta redactada.
Los resultados comunicados corresponden a tareas y medidas distintas; el primer paso útil es identificar qué decisión pretende respaldar cada traza.
Qué comprenderás
¿En qué se diferencia una traza sobre el efecto previsto de una acción del razonamiento aprendido durante el entrenamiento pero oculto a la acción actual?
¿Qué mide la concordancia con las preferencias registradas sobre sitios web y qué deja sin probar?
¿Dónde puede situar un sistema el razonamiento o la revisión cuando una acción debe estar lista pronto o una llamada a una herramienta cambiará el estado?
Vincular la acción del robot con su efecto previsto
Imagina un robot que intenta agarrar un objeto cuya sujeción está parcialmente oculta. Si da por completa esa sujeción incierta, puede que su siguiente movimiento parta de una representación equivocada de la tarea.
Un juego plantea otro problema: el código puede compilar, aunque durante la partida fallen los movimientos o las transiciones entre escenas. Un agente que usa herramientas se enfrenta a otro distinto: consultar un registro aporta información, mientras que modificarlo altera el estado de la tarea.
En cada caso, la pregunta práctica es dónde debe llegar la evidencia de los pasos intermedios antes de la siguiente decisión importante.
Llamemos traza a ese registro intermedio. En el caso de un robot, podría explicar el cambio que se pretende lograr con una acción. Para quien evalúa un sitio web, puede registrar lo que ocurrió cuando un agente hizo clic y observó la aplicación. En el caso de un agente que usa herramientas, puede contener un borrador fundamentado en los resultados de consultas anteriores.
Estas trazas tienen distintos lectores. Una traza entregada a un evaluador puede aportar información para juzgar una aplicación; una entregada a un controlador puede influir en la acción que elija. Los estudios prueban esas ubicaciones en contextos distintos.
Empecemos por el control de robots. Los modelos robóticos preentrenados pueden aprender de demostraciones que muestran observaciones y acciones, pero por lo general esas demostraciones no explican el motivo de cada acción. Arc es un método de entrenamiento que añade a esos datos trazas causales vinculadas a las acciones y adapta un modelo robótico existente para que las use.
El lector previsto de la traza es el modelo que elige el siguiente movimiento del robot. Así, la pregunta común toma una forma concreta: ¿qué debe incluir una explicación si se espera que ayude a elegir ese movimiento?
Cómo continúa la lección
Dar al evaluador evidencia del uso de la aplicación
Evitar que el razonamiento retrase la acción
Revisar el borrador antes de cambiar el estado
Ubicar la evidencia según quién la necesita