Intern-Decision puntúa opciones estructuradas en una pasada

Cuando un agente debe elegir una herramienta o acción de un conjunto fijo, generar una respuesta de texto completa puede añadir trabajo antes de que la elección llegue al sistema que la utilizará.

¿Puede un modelo devolver directamente opciones estructuradas y sus probabilidades, incluso si la solicitud contiene varios campos?

Intern-Decision puntúa respuestas predefinidas para varios campos en una sola pasada del modelo y devuelve opciones estructuradas y probabilidades sin generar respuestas de texto libre.

Intern-Decision puntúa las respuestas permitidas en marcadores de una respuesta estructurada y procesa varios campos solicitados en una sola pasada.

Los autores comparan sus modelos con otros sistemas en siete conjuntos, usando la precisión de decisión y un promedio que da el mismo peso a cada conjunto.

El promedio del modelo 4B es del 90.02%, frente al 88.74% de Jev. Esto respalda un promedio superior para los sistemas evaluados con estos protocolos, aunque hay excepciones en conjuntos individuales.

La comparación de precisión abarca los sistemas evaluados y los conjuntos de pruebas; no aísla el efecto de puntuar campos conjuntamente ni el tamaño del modelo. Los elementos públicos de Jevbench contribuyeron al desarrollo, por lo que sirven como diagnóstico y no como evidencia independiente de generalización.