ES
Las copias de precisión completa ayudan a dos modelos robóticos a aprender tareas
Full-Weight VLA Fine-Tuning Without an fp32 Master Copy Silently Erases Most Updates · arXiv:2610.31859
En palabras sencillas
Cuando un modelo de visión y lenguaje aprende una tarea nueva para un robot, el entrenamiento produce muchos cambios pequeños en sus pesos internos. Este artículo estudia qué pasa cuando esos pesos se guardan en un formato de 16 bits: algunos cambios son demasiado pequeños para sobrevivir al redondeo, así que los pesos almacenados no cambian.
Los autores probaron conservar una copia de precisión completa de los pesos entrenables y seguir haciendo los cálculos en 16 bits. En un conjunto de tareas simuladas, dos modelos probados obtuvieron puntuaciones más altas con la copia en las comparaciones descritas. Las pruebas abarcaron solo esos modelos y ese conjunto de tareas.
La investigación
Cuando se sigue entrenando un modelo de visión y lenguaje para controlar un robot, ¿pueden desaparecer pequeñas actualizaciones si sus pesos entrenables se almacenan en un formato de menor precisión?
Si muchas actualizaciones dejan intactos los pesos almacenados, ¿conservar una copia más precisa mejora el éxito medido del modelo en una tarea nueva?
El artículo mide las actualizaciones de pesos que se pierden y compara el almacenamiento de pesos entrenables en precisión completa con bf16 en dos modelos VLA.
Los autores analizan los pesos almacenados de SmolVLA durante el entrenamiento y después comparan el éxito en las tareas con y sin una copia de precisión completa. En las ejecuciones probadas con almacenamiento en bf16, la prueba encuentra que la mayoría de los elementos contabilizados permanecen sin cambios tras los pasos muestreados.
En LIBERO-Object, el evaluador de los autores informa de un éxito medio mayor con la copia para SmolVLA y pi0.5 en las tasas de aprendizaje probadas. Un control de SmolVLA frente al almacenamiento totalmente en bf16 también favorece la copia con la tasa más baja.
En conjunto, la prueba de los pesos y las comparaciones de tareas respaldan la conclusión de que almacenar en bf16 sin una copia puede perjudicar estas ejecuciones de ajuste fino probadas.
Las pruebas de éxito en las tareas abarcan únicamente SmolVLA y pi0.5 en un conjunto de LIBERO, con pocas semillas y programas de entrenamiento acortados.
No aíslan el efecto de las actualizaciones de pesos que se pierden del efecto de almacenar en bf16 los momentos de AdamW, por lo que se desconocen el tamaño y la causa de cualquier mejora en otros modelos, tareas o programas de entrenamiento.
Qué muestran las pruebas
- Cuando se pierden las actualizaciones
El artículo examina un riesgo concreto durante el ajuste fino de modelos de visión, lenguaje y acción (VLA): los pesos entrenables pueden almacenarse en bfloat16 (bf16), un formato de 16 bits, mientras un optimizador escribe las actualizaciones directamente en ellos.
La pregunta central es si el redondeo puede borrar suficientes cambios pequeños como para afectar el entrenamiento del modelo en una tarea nueva. Los autores también comprueban si las recetas habituales de entrenamiento de VLA abiertos usan esta forma de almacenamiento.
- Del redondeo a los pesos estancados
El análisis explica por qué importa el almacenamiento directo: toda actualización inferior a 1/512 de la magnitud de un peso se redondea hasta ese mismo peso, y algunas actualizaciones mayores también pueden desaparecer.
Para comprobar si ocurre durante ejecuciones reales, una prueba compara los pesos entrenables almacenados antes y después de pasos muestreados del optimizador. En las ejecuciones de SmolVLA sin copia de precisión completa, encontró que entre el 79% y el 99% de los elementos contabilizados no cambiaban en cada paso muestreado con una tasa de aprendizaje de 10^-4, y entre el 96% y el 99.95% con 10^-5.
- Prueba del rendimiento en las tareas
Después, los autores comprobaron si conservar los pesos entrenables en coma flotante de 32 bits cambia el éxito en las tareas, mientras los cálculos siguen usando bf16. En la comparación principal de SmolVLA, ambas configuraciones compartían el punto de control inicial, las demostraciones, el optimizador, el programa, la tasa de aprendizaje y las condiciones de evaluación; diferían en el almacenamiento de los pesos entrenables.
En LIBERO-Object, el evaluador de los autores midió el éxito en varios intentos y las cifras publicadas promedian tres semillas de entrenamiento. La copia obtuvo un éxito medio mayor que la receta de LeRobot con las dos tasas de aprendizaje probadas.
- El patrón en dos modelos
Un segundo modelo, pi0.5, mostró la misma dirección en las comparaciones de las configuraciones probadas. Con un programa acortado de 2,500 pasos y partiendo del modelo base general, el éxito medio de la copia fue del 97.7%, frente al 89.0% de la receta de LeRobot con la opción bf16 y la tasa predeterminada; con una tasa diez veces menor, fue del 80.9% frente al 5.1%.
Son medias de dos semillas en el mismo conjunto de tareas simuladas, no una garantía para otras configuraciones de entrenamiento.
- Controles y límites
El control de SmolVLA con todo almacenado en bf16 también obtuvo una puntuación inferior a la copia con la tasa de aprendizaje más baja, así que el resultado no se limita a la comparación con la receta de LeRobot. Sin embargo, la diferencia dependió de cómo se evaluó el modelo entrenado: replanificar cada 10 acciones redujo la diferencia de SmolVLA a 4.2 puntos, frente a 10.2 puntos con bloques de 50 acciones en modo abierto.
Las pruebas abarcan dos modelos, un conjunto, pocas semillas y programas acortados; además, no aíslan las actualizaciones perdidas del efecto de almacenar en bf16 los momentos del optimizador.
Detalles
- Autores del paper original
- Shubham Singh
- Enviado a arXiv
- Licencia
- arXiv non-exclusive