Las etiquetas integradas ayudan a ubicar fragmentos de texto

Cuando un modelo de lenguaje identifica una frase en un pasaje, ¿cómo podemos saber exactamente a cuál de sus apariciones se refiere? La frase generada puede haber cambiado o repetirse en la entrada, lo que dificulta localizarla.

El artículo pregunta si un modelo puede marcar fragmentos directamente en una copia del texto para que su posición quede fijada mientras los genera.

El etiquetado restringido hace que un modelo de lenguaje copie la entrada y marque fragmentos con etiquetas integradas, lo que fija su ubicación en caracteres durante la generación.

El método limita al modelo para que copie la entrada y añada etiquetas integradas válidas, de modo que la posición de cada fragmento quede fijada mientras se genera. Los autores lo compararon con un método de etiquetado que usó los mismos prompts y el mismo marcado, pero sin la restricción, y midieron la F1 de solapamiento de caracteres estricto, que exige que coincida la etiqueta predicha.

Con un tamaño de lote de 1, el promedio de tres semillas fue mayor con el etiquetado restringido en cinco de seis conjuntos de datos y menor en Toxic Spans. Esto respalda que el método beneficia a la mayoría de los conjuntos de datos evaluados, mientras que la garantía de copia depende de que la generación termine.

El método fija la ubicación de los fragmentos completos, pero no garantiza que el modelo elija los fragmentos o los límites correctos.

Los resultados corresponden a los modelos, conjuntos de datos y prompts evaluados; no se comprobó la significación estadística de las pequeñas diferencias en las puntuaciones.