A LangChain avaliou NVIDIA NeMo Switchyard—uma biblioteca de roteamento de modelos de código aberto que seleciona automaticamente qual modelo trata cada passo de um fluxo de trabalho de agente—em sua suite de avaliação interna Deep Agents de 145 tarefas agentic multi-turn com média de 6,3 chamadas de modelo cada. As tarefas mapeiam cargas de trabalho de produção: suporte ao cliente sob restrições de política, investigação de incidente on-call e automação de fluxo de trabalho multi-etapas. Os resultados mostraram que roteamento entre um modelo aberto de 30B parâmetros (Nemotron 3.5 Lightning) e Claude Opus 4.8 conseguiu uma redução de custo de 74% versus executar Opus sozinho, mantendo 93% de sua precisão.
A estratégia de roteamento funcionou enviando 93% das chamadas para Nemotron 3.5 Lightning (que lidava com 10,4% do gasto) e escalando apenas 7% para Opus (que representava 68,4% do gasto). O roteador de escalação da LangChain começa cada tarefa no modelo mais barato e promove sessões ao modelo de fronteira após dois vereditos negativos consecutivos de um pequeno modelo juíz. Para as mesmas tarefas concluídas, o custo por execução caiu de US$11,45 (Opus sozinho) para US$3,00 (roteado) para US$0,72 (Lightning sozinho), com precisão declinando de 86% para 80% no caso roteado—um tradeoff de seis pontos.
Para arquitetos: este benchmark valida que modelos de fronteira não são uniformemente necessários em fluxos de trabalho agentic. Reduções no consumo de tokens e lógica de roteamento na camada de orquestração importam mais para controle de custo do que velocidade de modelo bruto. Equipes considerando implantações de agente devem calcular se as econômicas de custo justificam tradeoffs de precisão usando a fórmula fornecida pela LangChain (custo dividido pela lacuna de preço), já que viabilidade de roteamento depende de proximidade de preço de modelo.