ES
Una recompensa por oración ayuda a los modelos de recuperación a fundamentar lo que escriben
Copying Is Not Grounding: Training Faithful Long-Form RAG with Authored-Sentence Credit · arXiv:2610.18442
En palabras sencillas
Algunos sistemas de IA responden preguntas usando pasajes recuperados de documentos. Un verificador puede marcar como respaldado un texto copiado, así que entrenar al sistema para maximizar la cantidad de oraciones respaldadas puede premiar la copia en vez de enseñarle a fundamentar lo que redacta.
Authored-Sentence Credit (ASC) es un método de entrenamiento que evalúa las oraciones una por una. Las oraciones copiadas y las afirmaciones respaldadas solo por la pregunta no reciben crédito; las oraciones nuevas deben estar respaldadas por los pasajes.
En los modelos evaluados, un evaluador independiente encontró una reducción relativa mediana del 38% en la proporción de oraciones redactadas por el modelo que consideró no respaldadas tras leer sus pasajes, mientras que los evaluadores de la respuesta completa calificaron la calidad a la par de los modelos base.
La investigación
Cuando un modelo responde a partir de pasajes recuperados, ¿qué demuestra que puede respaldar sus propias afirmaciones? Una oración copiada de un pasaje puede ser correcta sin mostrar que el modelo sepa fundamentar lo que redacta.
El artículo pregunta si el crédito durante el entrenamiento puede distinguir entre copiar pasajes y redactar contenido respaldado por evidencia.
Authored-Sentence Credit asigna a cada oración su propia puntuación de entrenamiento y premia la redacción respaldada por los pasajes, sin dar crédito al texto copiado o sin evidencia.
Se compararon cuatro modelos de instrucciones entrenados con dos corpus de preguntas y respuestas bajo una configuración común. En 20 combinaciones de modelo y corpus, un evaluador independiente, Gemma-4-31B, encontró una reducción relativa mediana del 38% frente a los modelos base correspondientes en la proporción de oraciones redactadas por el modelo que juzgó no respaldadas tras leer sus pasajes.
Los evaluadores de las respuestas completas calificaron su calidad a la par de los modelos base, lo que respalda la interpretación de los autores de que la redacción fundamentada debería recibir la recompensa.
La evidencia abarca cuatro modelos entrenados con dos corpus, y cada modelo de referencia tuvo una sola ejecución de entrenamiento. El artículo no especifica si cada modelo entrenado partió del mismo punto de control que su modelo base de comparación.
Qué muestran las pruebas
- La recompensa puede favorecer la copia
Authored-Sentence Credit (ASC) es un método de entrenamiento para la generación aumentada por recuperación (RAG) de respuestas largas, en la que los modelos contestan preguntas usando pasajes recuperados para cada una.
Aborda una discrepancia: la recompensa habitual de fidelidad cuenta la proporción de oraciones que un verificador considera respaldadas por los pasajes, pero las oraciones copiadas también pueden superar esa comprobación. Por tanto, una puntuación mayor no implica necesariamente que la redacción propia del modelo esté mejor fundamentada.
- Las etiquetas humanas muestran la diferencia
Para comprobar si la discrepancia también aparecía más allá del verificador automático de recompensas, anotadores humanos marcaron oraciones en respuestas de RAGTruth. De 131,087 oraciones etiquetadas, marcaron como erróneas el 12.2% de las redactadas por el modelo y el 1.9% de las copiadas.
Los investigadores calcularon cada porcentaje dentro de su propio grupo según el origen del texto. Esta comparación corresponde a las respuestas etiquetadas de RAGTruth, no a todas las respuestas RAG.
- Cómo funciona la recompensa por oración
ASC aborda la discrepancia al conceder crédito solo si la oración fue redactada por el modelo, no está respaldada únicamente por la pregunta y sí está respaldada por los pasajes recuperados. Compara el crédito de cada oración con el de las oraciones de respuestas generadas para esa misma pregunta.
Así, las oraciones copiadas, respaldadas solo por la pregunta o no respaldadas quedan en los últimos puestos. Si alguna oración obtiene crédito, las que no pasan alguna comprobación reciben un peso de entrenamiento negativo; si ninguna lo obtiene, de todos modos no reciben refuerzo positivo.
- Los resultados principales miden el respaldo
Los investigadores entrenaron cuatro modelos de instrucciones con dos corpus de preguntas y respuestas y compararon ASC con otras tres señales de entrenamiento bajo una configuración común. En 20 combinaciones de modelo y corpus, un evaluador independiente, Gemma-4-31B, encontró una reducción relativa mediana del 38% frente a los modelos base correspondientes en la proporción de oraciones redactadas por el modelo que juzgó no respaldadas tras leer sus pasajes. Un segundo evaluador, MiniCheck-Flan-T5-Large, encontró una mediana de un 46% más de oraciones redactadas por el modelo y respaldadas por respuesta; se trata de un recuento, no de una proporción.
- Las mejoras no activaron los criterios de atajo
Es necesario comprobar que las mejoras de error no se deban a atajos como copiar, hacer afirmaciones vacías, rechazar respuestas o escribir respuestas más cortas. Copy es la fracción de palabras de la respuesta cubierta por coincidencias literales de cinco palabras con los pasajes; Vac. es la proporción de oraciones redactadas por el modelo y respaldadas por los pasajes que también están respaldadas solo por la pregunta.
Ninguna de las 20 combinaciones de ASC se señaló como atajo: una combinación se clasificaba así si Copy, Vac. o la tasa de rechazo superaba en más de 3 puntos porcentuales el valor del modelo base correspondiente, o si la longitud de la respuesta caía por debajo del 85% de la suya.
Dos evaluadores compararon las respuestas completas según cuánto servían al lector; sus tasas medias de victoria de ASC frente a los modelos base fueron del 51.0% y el 49.1% en las 20 combinaciones, con los empates y desacuerdos contados como media victoria.
- Resultados en corpus no vistos y prueba de control
En ClapNQ, ELI5 y ExpertQA —tres pruebas de preguntas y respuestas con pasajes recuperados que no aparecieron en absoluto durante el entrenamiento—, la reducción mediana del error de autoría fue del 38% en los cuatro modelos frente a sus modelos base.
En una ablación aparte con Qwen3.5-9B, sustituir la comparación por oración por una puntuación para la respuesta completa elevó el error de autoría en cuatro de los cinco corpus. Esto respalda el papel del crédito por oración en esa configuración evaluada y limita el resultado de transferencia a esos tres corpus.
Detalles
- Autores del paper original
- Hoang Pham, Duc Anh Vu, Duy Tung Doan, Cong-Duy T Nguyen, Anh Tuan Luu
- Enviado a arXiv
- Licencia
- CC BY 4.0