LangChain publicou um benchmark empírico de roteamento mostrando que 7% das ações de agentes impulsionam 68% do gasto total em modelos—e rotear essas ações para o modelo certo reduz o custo em 74% enquanto reduz a precisão em seis pontos. O benchmark usou NVIDIA NeMo Switchyard, uma biblioteca de roteamento open-source, para dividir chamadas entre Claude Opus 4.8 e NVIDIA Nemotron 3.5 Lightning, um modelo open-weight de 30B.
A suite de avaliação executou 145 tarefas agentivas multi-etapas com média de 6.3 chamadas de modelo cada, extraídas de τ²-bench airline, Berkeley Function Calling Leaderboard, FRAMES e Nexus. Os tipos de carga de trabalho incluíram diálogo de suporte ao cliente sob restrições de política, investigação de incidentes on-call e automação de fluxo de trabalho multi-etapas entre mensagens, rastreamento de problemas e email. Todos os custos usam preços de entrada em cache.
A abordagem de roteamento que LangChain testou usa o classificador LLM do Switchyard em modo de escalação. Cada tarefa começa no Nemotron 3.5 Lightning. Um modelo juiz avalia cada ação e vota sobre a qualidade do agente. Dois veredictos negativos consecutivos acionam uma escalação unidirecional para Opus 4.8 pelo resto dessa sessão. A porta unidirecional importa: ela impede que o juiz ative em ações pós-escalação, mantendo a sobrecarga do juiz limitada.
Executar Opus 4.8 sozinho custa $11.45 por execução e $0.092 por tarefa com 86% de precisão. O braço roteado—Nemotron tratando 93% das chamadas, Opus tratando 7%—custa $3.00 por execução e $0.026 por tarefa com 80% de precisão. Nemotron sozinho custa $0.72 por execução com 77.7% de precisão. No braço roteado o modelo juiz consumiu 21.2% do gasto total, tornando-o o segundo maior item de linha após Opus. O juiz não se beneficia do cache de prompt e ativa em cada ação até a escalação, acumulando gasto nas 93% de ações que nunca escalam.
LangChain fornece uma fórmula break-even: divida o custo do juiz pela diferença de preço entre seus dois modelos. Essa razão é a fração mínima de chamadas que devem rotear para o modelo barato para o roteamento compensar. Quando os dois modelos estão próximos em preço, a razão pode exceder 100%—significando que o roteamento não pode recuperar sua sobrecarga a menos que o modelo barato seja auto-hospedado. Essa fronteira torna a seleção de modelo upstream da configuração de roteamento uma decisão matemática antes de comprar qualquer coisa.
Os autores sinalizam uma restrição de escopo diretamente. A suite Deep Agents é controlada, e esse controle a saturou: a variância de precisão entre o modelo de 30B e o modelo de fronteira era apenas 8 pontos, dando ao roteamento menos espaço para mostrar valor do que uma carga de trabalho mais difícil ou mais aberta teria. O intervalo de precisão de 6 pontos entre os braços roteados e apenas-Opus encolhe em proporção a quão próximo os dois modelos funcionam em sua distribuição de tarefas real. Se o intervalo aumenta ou diminui no tráfego de produção é algo que o benchmark não consegue prever.
Switchyard é enviado como um proxy para o qual seu agente aponta ou como middleware incorporado no processo do agente. Além do classificador LLM inclui um roteador de etapa que lê padrões de erro, padrões de raciocínio e contagens de token sem chamada de modelo extra, e um MLP de ativação de prefill que roteia em ativações internas de modelos—o último ainda em pesquisa. LangChain testou apenas o classificador LLM em modo de escalação.
Execute a fórmula break-even contra seus preços de modelo antes de configurar um roteador. Depois meça o intervalo de precisão da distribuição de tarefas antes de confirmar a perda de seis pontos.