Sauron verifica pruebas antes de evaluar tareas de agentes

Cuando un agente termina una tarea larga, las pruebas de lo ocurrido pueden estar en el estado final del entorno o en el registro de sus acciones, mientras que un evaluador con rúbrica quizá solo vea una afirmación. ¿Puede un verificador revisar esos registros con suficiente detalle para que sus veredictos reflejen las pruebas?

Sauron contrasta las afirmaciones con pruebas citadas del estado y del registro, y solo acepta veredictos de rúbrica cuando las afirmaciones verificadas los respaldan.

Para evaluar si los juicios basados en rúbricas pueden mantenerse vinculados a las pruebas cuando estas están repartidas entre la respuesta, el estado final y el registro de acciones de un agente, los autores probaron Sauron con tareas de asistente personal.

¿En qué medida contrastar pruebas citadas se traduce en juicios que coinciden con las etiquetas humanas?

En 100 episodios simulados, Sauron obtuvo mejores resultados que Gandalf frente a los juicios humanos con GPT-5.6 Sol: 0.96 frente a 0.92 F1, una medida que combina precisión y exhaustividad y agrupa 2,586 criterios. Ambos evaluaron las mismas trayectorias con el mismo modelo, pero diferían sus procedimientos y el acceso al registro. El resultado respalda el enfoque general de Sauron, no el acceso al registro por sí solo.

La comprobación de pruebas no resuelve todos los desacuerdos sobre el significado de un criterio de la rúbrica: en una revisión manual de 65 desacuerdos de PA100, en 48 casos Sauron interpretó los criterios de forma más estricta que los anotadores. La evaluación tampoco prueba agentes optimizados para explotar a Sauron como recompensa.