¿Qué evidencia respalda la elección de un modelo de IA?

Un asistente del hogar puede usar un modelo distinto para cada tipo de solicitud, pero una elección que parece sólida en un banco de pruebas puede fallar cuando llega a un dispositivo real.

Las pruebas con imágenes enfrentan un problema relacionado: las condiciones ausentes pueden hacer que el modelo equivocado parezca preferible.

A lo largo de cuatro estudios, la evidencia se sitúa a distintas distancias de la decisión. Los conjuntos de prueba y los ensayos en vivo examinan los resultados; las estadísticas de modelos preentrenados ayudan a clasificar opciones con anticipación. La respuesta útil de cada estudio está acotada por las condiciones y los comportamientos que ese estudio comprobó efectivamente.

Imagina que debes elegir qué modelo de lenguaje gestiona la próxima solicitud de un asistente del hogar. Es posible que el sistema solo necesite etiquetar la solicitud, encender un dispositivo concreto o escribir un programa nuevo para una tarea programada.

Asignar el mismo modelo a cada paso equivale a tomar una decisión sobre varios trabajos distintos a la vez. El estudio de automatización del hogar desplegado pregunta cuáles de sus trabajos conocidos pueden asignarse a modelos más pequeños sin dejar de producir el resultado solicitado.

Ahora imagina que debes elegir entre dos modelos que identifican si una imagen de cámara de rastreo contiene un animal. Si las imágenes de prueba disponibles muestran principalmente escenas diurnas, el aparente ganador puede ser el modelo que mejor gestiona la luz del día. Las imágenes nocturnas suelen verse diferentes porque las cámaras emplean imágenes infrarrojas en escala de grises.

Un segundo estudio pregunta si agregar imágenes que representen esta condición ausente modifica la elección de la evaluación entre un modelo entrenado con imágenes diurnas y uno entrenado con imágenes diurnas y nocturnas.

Antes de que sea posible una comparación directa, surgen dos elecciones adicionales: qué modelo publicado podría resistir un cambio en los datos, y en qué orden debería un generador rellenar una imagen. Esos estudios examinan patrones en los pesos preentrenados o dependencias entre las posiciones de salida.

En conjunto, los cuatro estudios plantean una pregunta práctica: ¿qué evidencia está suficientemente cerca del resultado deseado para respaldar una elección, y qué puede únicamente sugerir un indicador temprano?