Los codificadores compactos afrontan un dilema al leer opciones
En palabras sencillas
Muchos sistemas necesitan elegir entre una lista de respuestas, y esa lista puede cambiar con cada solicitud. Este artículo presenta Crivo, una familia de codificadores compactos que asigna una probabilidad a cada respuesta permitida.
Los modelos publicados leen todas las opciones a la vez; los autores también probaron una versión que vuelve a leer la solicitud por separado para cada opción. En una comparación con modelos de 32 millones de parámetros, la lectura por separado obtuvo una puntuación mayor en una muestra de pruebas de decisión cuando ambas versiones partían de un reranker.
La ventaja no fue clara cuando partían de un codificador sin ajustar, así que el resultado depende del punto de partida del modelo.
La investigación
Cuando un modelo debe elegir entre respuestas que pueden cambiar de una solicitud a otra, ¿debería un codificador compacto comparar las opciones juntas o puntuar cada una por separado? El enfoque conjunto requiere menos pasadas del codificador, pero la lectura por separado se parece a las entradas en pares usadas para entrenar rerankers. El artículo comprueba si esa diferencia importa.
El artículo presenta Crivo, una familia de codificadores compactos para decisiones, y compara puntuar todas las opciones juntas con volver a leer la solicitud para cada una.
Los autores compararon dos formas de puntuar una lista cambiante de respuestas con un codificador compacto: procesar todas las opciones juntas o volver a leer la solicitud para cada una.
En un estudio con 32 millones de parámetros, ambos lectores usaron el mismo subconjunto de entrenamiento y el mismo objetivo; el lector conjunto realizó tantos pasos de entrenamiento repitiendo filas.
En una muestra reservada de pruebas de decisión, el lector por opción obtuvo mayor habilidad corregida por azar que el lector conjunto en esta comparación con cómputo equiparado de forma aproximada.
Un control con otra inicialización no encontró una ventaja clara de un lector sobre el otro desde un codificador sin ajustar, por lo que el resultado principal se limita al punto de partida del reranker y no establece un beneficio general de la lectura por separado.
La comparación entre lectores usó un único subconjunto de 150.000 preguntas y un único tamaño de modelo: 32 millones de parámetros.
El lector conjunto con cómputo equiparado repitió filas de entrenamiento, y el estudio no probó el lector por opción por encima de ese tamaño ni con la receta completa de entrenamiento de Crivo.
Análisis
Detalles
- Autores del paper original
- Tardelli Ronan Coelho Stekel
- Enviado a arXiv
- Licencia
- arXiv non-exclusive