LangChain publicó un benchmark empírico de enrutamiento que muestra que el 7% de los turnos de agentes impulsan el 68% del gasto total en modelos—y enrutar esos turnos al modelo correcto reduce el costo en 74% mientras reduce la precisión seis puntos. El benchmark utilizó NVIDIA NeMo Switchyard, una biblioteca de enrutamiento de código abierto, para dividir llamadas entre Claude Opus 4.8 y NVIDIA Nemotron 3.5 Lightning, un modelo de código abierto de 30B.
La suite de evaluación ejecutó 145 tareas agentivas de múltiples pasos promediando 6.3 llamadas de modelo cada una, extraídas de τ²-bench airline, Berkeley Function Calling Leaderboard, FRAMES y Nexus. Los tipos de carga de trabajo incluyeron diálogo de atención al cliente bajo restricciones de política, investigación de incidentes on-call y automatización de flujo de trabajo de múltiples pasos en mensajería, seguimiento de problemas y correo electrónico. Todos los costos utilizan precios de entrada en caché.
El enfoque de enrutamiento que LangChain evaluó utiliza el clasificador LLM de Switchyard en modo de escalada. Cada tarea comienza en Nemotron 3.5 Lightning. Un modelo de juez evalúa cada turno y vota sobre la calidad del agente. Dos veredictos negativos consecutivos desencadenan una escalada unidireccional a Opus 4.8 para el resto de esa sesión. La puerta unidireccional importa: evita que el juez dispare en turnos posteriores a la escalada, manteniendo acotada la sobrecarga del juez.
Ejecutar Opus 4.8 solo cuesta $11.45 por ejecución y $0.092 por tarea con 86% de precisión. El brazo enrutado—Nemotron manejando 93% de las llamadas, Opus manejando 7%—cuesta $3.00 por ejecución y $0.026 por tarea con 80% de precisión. Nemotron solo cuesta $0.72 por ejecución con 77.7% de precisión. En el brazo enrutado el modelo de juez consumió el 21.2% del gasto total, convirtiéndolo en el segundo rubro más grande después de Opus. El juez no se beneficia del almacenamiento en caché de prompts y dispara en cada turno hasta la escalada, acumulando gasto en el 93% de turnos que nunca se escalan.
LangChain proporciona una fórmula de punto de equilibrio: divide el costo del juez por la diferencia de precio entre tus dos modelos. Esa razón es la fracción mínima de llamadas que deben enrutarse al modelo económico para que el enrutamiento se amortice. Cuando los dos modelos tienen precios cercanos, la razón puede exceder 100%—lo que significa que el enrutamiento no puede recuperar su sobrecarga a menos que el modelo económico sea autohospedado. Ese límite convierte la selección de modelo anterior a la configuración de enrutamiento en una decisión matemática antes de comprar nada.
Los autores señalan directamente una restricción de alcance. La suite Deep Agents está controlada, y ese control la saturó: la varianza de precisión entre el modelo de 30B y el modelo de frontera era solo 8 puntos, dando al enrutamiento menos espacio para mostrar valor de lo que una carga de trabajo más difícil o más abierta proporcionaría. La brecha de precisión de 6 puntos entre los brazos enrutados y solo-Opus se reduce proporcionalmente a qué tan cerca funcionan los dos modelos en tu distribución de tareas real. Si la brecha se amplía o se reduce en el tráfego de producción es algo que el benchmark no puede predecir.
Switchyard se entrega como un proxy al que tu agente apunta o como middleware incrustado en el proceso del agente. Más allá del clasificador LLM incluye un enrutador de etapa que lee patrones de error, patrones de razonamiento y conteos de tokens sin llamada de modelo adicional, y un MLP de activación de prefill que enruta en activaciones internas de modelos—el último aún en investigación. LangChain evaluó solo el clasificador LLM en modo de escalada.
Ejecuta la fórmula de punto de equilibrio contra tus precios de modelo antes de configurar un enrutador. Luego mide la brecha de precisión de tu distribución de tareas antes de confirmar la pérdida de seis puntos.