90% dos Tokens de Produção Correrão em Modelos de Peso Aberto

O desenvolvimento de produtos de IA está cada vez mais desacoplado da camada do modelo, com o parceiro geral da Benchmark, Peter Fenton, prevendo que mais de 90% dos tokens serão gerados por modelos de peso aberto nos próximos 18 a 24 meses. As empresas estão mudando a inferência dos APIs de fronteira para pilhas de orquestração autogerenciadas, potencialmente alcançando um ponto de virada até o final do ano.

Perplexity recentemente apresentou um agente de uso de computador baseado no GLM 5.2 da Z.ai, um modelo de peso aberto de um laboratório chinês. O sistema utiliza a instância mais barata do GLM 5.2 para tarefas rotineiras e escala para modelos de nuvem mais poderosos quando é detectada uma lacuna de capacidade. O CEO da Perplexity, Aravind Srinivas, enfatizou que o modelo por si só não é mais o produto; em vez disso, é o sistema de orquestração que o acompanha com ferramentas e lógica de roteamento. Esta mudança transforma a pilha de produção em um sistema multi-modelo, onde a seleção do modelo, a lógica de fallback e a integração das ferramentas são mais críticos para a qualidade da saída e o custo unitário do que a contagem de parâmetros de qualquer modelo individual.

Ollama, um tempo de execução de modelo local, relata adoção por mais de 85% dos Fortune 500, incluindo setores regulamentados como aviação, seguros e saúde. O CEO da Ollama, Jeff Morgan, observa que os compradores agora priorizam onde e como um modelo é executado em vez de sua proveniência de treinamento, preferindo a implantação local ou na borda para conformidade e controle de custos. Esta preferência se alinha com uma arquitetura híbrida em que a inferência rotineira é executada em dispositivos locais e tarefas difíceis escalam para APIs de nuvem, um padrão que Srinivas argumenta se tornará padrão para cargas de trabalho agentais.

Enquanto números operacionais sobre latência e custo por token são escassos, a direção econômica é clara. Fenton afirma que as margens de inferência dos laboratórios de fronteira se comprimem à medida que as empresas substituem as execuções de peso aberto por chamadas de API, eliminando a margem comercial cobrada pela OpenAI, Anthropic e outras. A métrica crítica a ser observada é a mistura de tokens: se 90% ou mais dos tokens de produção se movem para pesos abertos, o custo efetivo por milhão de tokens desce para o preço da infraestrutura de GPU de commodity mais o overhead de orquestração, em vez das taxas de dólares para dezenas de dólares por milhão associadas aos pontos de extremidade de fronteira. No entanto, o custo de latência p50 ou p99 da própria camada de roteamento, a queima de horas de GPU necessária para executar um modelo local na escala dos Fortune 500 e o custo de engenharia de manutenção de um multi-modelo eval harness que decide qual nível lida com cada solicitação permanecem sem relatório.

As compensações são arquitetônicas e operacionais. O roteamento do modelo introduz um novo modo de falha: um prompt mal encaminhado degrada silenciosamente quando tratado por um modelo local de tamanho insuficiente, ou escalona excessivamente para uma API de fronteira e desvenda todo o economia de custo. Não há um benchmark de avaliação padrão da indústria para decisões de gating, então equipes devem construir e atualizar continuamente seus próprios classificador de capacidade ou heurísticas contra um alvo móvel de lançamentos de modelo. O risco geopolítico acrescenta outro custo de integração, pois modelos de peso aberto competitivos vêm cada vez mais de laboratórios chineses como a Z.ai e DeepSeek. Empresas em setores regulamentados devem estender auditorias de cadeia de suprimentos e conformidade para pesos de modelo e proveniência de dados de treinamento, não apenas infraestrutura. A combinação de complexidade de roteamento, lacunas de avaliação e revisão de proveniência torna a transição de pilhas de API única para pilhas multi-modelo significativamente mais difícil do que as economias de token em destaque sugerem.

Trate os pesos do modelo como infraestrutura de commodity e invista ciclos de engenharia na camada de roteamento e orquestração, pois a fronteira das margens se moveu do treinamento para a porteira.