Ajusta el enrutamiento a los indicios disponibles en cada paso

Un agente puede tener que elegir un modelo para una tarea de control del hogar, decidir cómo consultar a los propietarios de tablas separadas o enviar una pregunta a un modelo más grande.

Cada decisión puede consumir más cómputo, pero cada una aporta indicios distintos sobre dónde podría ayudar ese trabajo adicional.

Una primera respuesta útil consiste en ajustar la decisión de enrutamiento a la variación que el sistema puede observar: un paso conocido, una dependencia entre propietarios o una señal de confianza para cada pregunta.

Estos estudios evalúan esas decisiones en contextos diferentes, por lo que sus resultados orientan decisiones condicionales y no una clasificación común de rendimiento.

Imagina un agente de control del hogar que recibe la solicitud de encender un dispositivo. Su sistema ya tiene pasos separados para reconocer la solicitud, elegir una acción, planificar una tarea más larga y escribir código para ese plan.

Una decisión de implementación es si todos los pasos necesitan el mismo modelo alojado. Otra es si un modelo local más pequeño puede encargarse de un paso concreto, mientras un modelo alojado se ocupa de los pasos que requieren un plan más largo o código. El sistema sabe qué paso va a ejecutar.

Ahora imagina una organización cuyos integrantes son propietarios de distintas tablas. Un coordinador recibe una pregunta que necesita filas de dos propietarios, pero el catálogo público solo enumera los nombres de las tablas y sus columnas, no las filas.

Puede preguntar a los propietarios en paralelo y combinar las respuestas, o preguntarles uno tras otro. Si una fila del primer propietario revela un valor necesario para encontrar una fila coincidente en la tabla del segundo, el orden de las preguntas importa. La variación relevante está en los datos solicitados.

Una tercera decisión aparece cuando todas las preguntas de opción múltiple se envían primero a un modelo pequeño. El sistema puede aceptar su respuesta o pedirle a un modelo más grande de la misma familia que responda esa pregunta.

En este caso, la decisión cambia de una pregunta a otra, y la aparente incertidumbre del modelo pequeño puede servir de indicio. En los tres ejemplos, el problema común es dónde decidir cómo enrutar una solicitud y qué evidencia justifica dedicar más cómputo en ese punto.