ES
El muestreo de vértices ayuda a mezclar muchos dominios de datos para modelos de lenguaje
LinMix: Data Mixing as Linear Domain Attribution · arXiv:2610.37390
En palabras sencillas
Los modelos de lenguaje aprenden de textos de distintas áreas temáticas, o dominios. LinMix es un método que entrena modelos proxy pequeños con mezclas cuidadosamente elegidas de esos dominios, estima cuáles ayudan a una medida determinada y usa esas estimaciones para elegir una mezcla con la que entrenar un modelo más grande.
En pruebas con 288 dominios, su forma de elegir mezclas proxy permitió que una estimación lineal sencilla ajustara los resultados casi tan bien como la mejor alternativa no lineal. Con 24 dominios, tanto el muestreo de LinMix como el método de comparación permitieron obtener buenos ajustes.
La investigación
Cuando el texto de entrenamiento se divide en cientos de dominios, ¿cómo puede un conjunto limitado de modelos proxy pequeños mostrar cuáles contribuyen a una medida objetivo?
Si las mezclas de entrenamiento de esos modelos no varían lo suficiente, las estimaciones usadas para elegir la mezcla de datos de un modelo más grande pueden ser poco fiables.
LinMix varía mezclas de datos con límites para modelos proxy, estima la contribución de los dominios mediante un modelo lineal y elige una mezcla objetivo para el preentrenamiento.
LinMix evalúa si cambiar las mezclas proxy puede facilitar la estimación de los efectos de los dominios a medida que un corpus se divide en más dominios.
Los investigadores compararon puntuaciones previstas y observadas de modelos proxy: con 288 dominios, el muestreo de vértices permitió que un ajuste lineal igualara a la mejor alternativa no lineal, mientras que el muestreo Dirichlet ajustado siguió dando resultados débiles.
Después, usaron las mezclas seleccionadas para entrenar modelos Qwen3.5 de 4B con 40 dominios. LinMix obtuvo puntuaciones más altas que RegMix y Olmix en las pruebas de programación y matemáticas descritas, lo que vincula el resultado del ajuste proxy con el rendimiento del modelo objetivo en esa configuración.
Los resultados de los modelos objetivo proceden de una ejecución de entrenamiento aleatoria por método, y entrenar los numerosos modelos proxy tiene un coste elevado.
La demostración de optimalidad esperada se aplica cuando los límites por dominio son iguales y la distribución previa es uniforme; el artículo deja sin resolver el caso de límites desiguales.
Qué muestran las pruebas
- Estimar la contribución de cada dominio
LinMix es un método para mezclar datos durante el preentrenamiento de modelos de lenguaje. Aborda una pregunta práctica: cuando el corpus de entrenamiento se divide en muchos dominios, ¿puede un conjunto limitado de modelos proxy más pequeños revelar qué dominios ayudan a una medida objetivo?
El método estima la contribución de cada dominio a partir de ejecuciones proxy y luego usa esas estimaciones para elegir una mezcla con límites para el modelo más grande.
- Variar las mezclas proxy
La decisión clave es cómo formar las mezclas proxy. El muestreo Dirichlet habitual genera mezclas en torno a una distribución previa y requiere ajustes específicos para cada configuración. LinMix, en cambio, llena los dominios hasta sus límites en un orden aleatorio, hasta agotar el presupuesto de tokens, y luego empareja ejecuciones usando el orden inverso.
Las mezclas resultantes abarcan distintos dominios y ofrecen a la regresión contrastes más útiles para estimar sus efectos.
- La ventaja aparece con más dominios
Los investigadores compararon las puntuaciones previstas y observadas de los modelos proxy sobre datos de entrenamiento de referencia. Con 288 dominios, incluso las mezclas Dirichlet ajustadas produjeron poca coincidencia entre las clasificaciones, mientras que un ajuste lineal con el muestreo de vértices de LinMix igualó a la mejor alternativa no lineal.
Con 24 dominios, todos los ajustes probados funcionaron bien con ambos métodos de muestreo. Por tanto, los resultados sitúan la ventaja del muestreo en la configuración con más dominios.
- Las puntuaciones de los modelos objetivo también favorecen a LinMix
Los investigadores también entrenaron modelos objetivo Qwen3.5 de 4B con mezclas de 40 dominios seleccionadas por LinMix, RegMix u Olmix. En MBPP, que evalúa problemas de programación, la puntuación pass@1 de LinMix mide la proporción de problemas resueltos por una única solución generada mediante decodificación codiciosa; fue de 0.444, frente a 0.304 de RegMix y 0.302 de Olmix.
En los problemas matemáticos de GSM8K, la coincidencia exacta mide la proporción de respuestas que coinciden con la referencia; LinMix obtuvo 0.337, frente a 0.135 y 0.294. Estos resultados vinculan la comparación de los modelos proxy con puntuaciones más altas en esta configuración.
- La teoría y la evidencia tienen límites
Un resultado teórico respalda el diseño de las mezclas: el muestreo de vértices es óptimo en promedio cuando todos los límites por dominio son iguales y la distribución previa es uniforme. La demostración también aclara que los límites obligan a incluir varios dominios en cada ejecución, lo que restringe cuánto puede aislarse un dominio concreto.
La evidencia respalda LinMix en las configuraciones probadas, mientras que los resultados de los modelos objetivo corresponden a una ejecución de entrenamiento aleatoria por método y las condiciones de límites iguales y distribución previa uniforme restringen el alcance del teorema.
Detalles
- Autores del paper original
- Hubert Baniecki, Przemyslaw Biecek, Martin Pawelczyk
- Enviado a arXiv
- Licencia
- CC BY 4.0