Pesquisadores do Google DeepMind, da Universidade de Edimburgo e da Universidade de Waterloo lançaram um artigo em 20 de agosto formalizando uma lacuna cega no roteamento multi-modelo: o custo do próprio sinal de roteamento. O artigo, "Pandora's AI Model Routing Box: Efficient Allocation with Costly Value Estimation", mapeia o problema para a Caixa de Pandora—o problema econômico de busca ótima sob inspeção custosa—e deriva políticas em forma fechada que indicam aos arquitetos quando executar um estimador caro e quando pular.
A lacuna é real e rotineiramente ignorada. Frameworks existentes como RouteLLM, FrugalGPT e designs em cascata tratam roteamento como quase gratuito. Uma busca em embedding adiciona aproximadamente 5 ms; um classificador de ML adiciona 50–100 ms. Ambos são pequenos em relação a uma chamada de inferência de 500–2.000 ms. Mas quando o estimador é um modelo fine-tuned lendo traces de raciocínio parcial ou resultados de recuperação, seu custo computacional se aproxima do custo de executar um especialista por si só—tornando a sobrecarga de roteamento material.
O artigo estabelece um trade-off limpo: estimadores baratos (baseados em embedding) são rápidos e ruidosos; estimadores caros (fine-tuned com recuperação ou acesso a traces) são precisos e custosos. Usando um modelo de sinal Gaussiano, os autores derivam expressões de value-of-information (VoI) em forma fechada. Para cada query, essas expressões indicam ao roteador se a melhora esperada do estimador caro excede seu custo. Se sim, refinar; se não, rotear no sinal barato. A versão centralizada é chamada Pandora's Router.
Experimentos abrangem três cenários: benchmarks multi-LLM, especialistas aumentados por recuperação e LLMs com orçamentos de tempo de inferência variáveis. Pandora's Router equipara estimação exaustiva—executando o estimador caro em cada query—enquanto o chama substancialmente menos frequentemente. A variante descentralizada, Pandora's Bidder, muda para uma estrutura de mercado: especialistas decidem independentemente se auto-avaliar antes de fazer lance para reivindicar uma query. Isso se adequa a frotas heterogêneas com equipes separadas possuindo modelos separados. Os resultados mostram que quando as estimativas são precisas, o raciocínio de VoI melhora a alocação. Quando ruidosas—comum durante ramp-up, mudança de domínio ou tipos de query esparsos—um especialista estratégico pode explorar raciocínio de VoI para melhorar sua utilidade em detrimento de outros. Essa é uma preocupação de fairness e estabilidade.
O contexto de escala aguça o problema. O gasto em LLM empresarial atingiu $8,4 bilhões na primeira metade de 2025, com cargas de trabalho de agentes queimando $5–8 por tarefa em taxas de API—agentes fazem 3–10× mais chamadas de LLM que chatbots de turno único. Diferenciais de custo entre tiers variam de 100–300×. Amazon Bedrock precifica Llama 3.1 Instruct (70B) a $0,72 por milhão de tokens versus $0,10 para Llama 3.2 (1B), uma proporção de 7,2×. No mesmo hardware H100, o modelo 70B leva 15× mais tempo para gerar 100 tokens que o 1B. Melhorias incrementais de roteamento se compõem rapidamente nesse spread.
Para arquitetos construindo sistemas multi-modelo com pipelines RAG, scaling de tempo de inferência ou frotas de agentes com modelos específicos para ferramentas, o aprendizado é direto: antes de adicionar um classificador caro ou estimador fine-tuned na sua camada de roteamento, verifique que o custo por query está abaixo do ganho esperado de melhor atribuição. O framework VoI fornece a aritmética. A variante descentralizada avisa aos times para contabilizar comportamento estratégico quando especialistas controlam sua própria auto-avaliação.