Martin Spier, que lidera Performance do ChatGPT na OpenAI, enquadrou o problema central na QCon AI como crescimento explosivo de usuários colidindo com desenvolvimento agnóstico em escala. ChatGPT atingiu um milhão de usuários em cinco dias desde o lançamento e os times de engenharia que o serviam nunca alcançaram completamente. O desenvolvimento agnóstico tornou esse alcance estrutural.

O problema de velocidade não é primariamente limitado por GPU. Uma única requisição de usuário passa por processamento de cliente, carregamento de conversa, montagem de contexto, tokenização, roteamento, inferência, streaming e observabilidade antes que um token chegue ao usuário. Qualquer etapa pode criar um gargalo. Se uma tarefa requer 30 requisições de modelo, um segundo extra por requisição se acumula. Reduzir trabalho repetido em todo o sistema importa tanto quanto tornar o modelo mais rápido isoladamente. Reduzir um segundo por requisição da camada de orquestração importa tanto quanto o throughput bruto do modelo.

A resposta da OpenAI: um harness agnóstico baseado em Rust conectando modelos, ferramentas e o ambiente do usuário. A escolha de design chave para eficiência de cache trata toda a história visível pelo modelo como append-only. Novas mensagens, resultados de ferramentas e estado do ambiente são adicionados no final em vez de inseridos antes. Ferramentas aparecem em ordem determinística. Políticas de aprovação e configurações de tempo de execução se aplicam no momento da execução, não embutidas em definições. O prefixo visto pelo modelo permanece estável entre turnos, impulsionando as taxas de acerto do prompt-cache. O preço da API GPT-5.2 incorpora o incentivo: desconto de 90% em tokens de entrada em cache ($1,75/1M padrão) dá a essa disciplina de design peso financeiro.

OpenAI gastou $5,02 bilhões apenas em inferência do Azure na primeira metade de 2025. Em junho de 2026, engenheiros desenvolveram uma otimização somente de software—sem novo hardware, sem revisão arquitetônica—que reduziu custos de inferência em mais de 50%. Aplicada ao tráfego de visitantes desconectados do ChatGPT, reduziu a contagem de GPU Nvidia servindo esse segmento para aproximadamente algumas centenas. A técnica permanece não divulgada; análise aponta reutilização de cache KV, quantização e batching mais inteligente de requisições como prováveis contribuidores. Se os ganhos se transferem para tenants de API pagos executando cargas de trabalho agnósticas—o tráfego mais intensivo em computação—permanece em aberto.

Codificação agnóstica adiciona pressão de segunda ordem: regressões chegam mais rápido. Times entregando com agentes de codificação ficam uma camada de abstração removida de entender o que empurraram. Humanos não sabem mais todos os detalhes de uma mudança antes de ela ir ao vivo. Isso comprime a janela de detecção antes que regressão se acumule. A resposta da OpenAI: encontre automação com automação. Implante agentes de IA sempre ligados para profiling, detecção de regressão e otimização contínua. O time de performance está construindo telemetria e ferramentas que agentes podem ler diretamente, em vez de esperar por humanos analisarem flame graphs.

Benchmarks padrão—pares de tokens fixos 1k-in/8k-out ou 8k-in/1k-out—não capturam a forma multi-turn, heavy-tailed, tool-interleaved de traces agnósticas. As métricas que importam mudam: latência de trace end-to-end, tempo-para-primeiro-token-de-resposta através de uma sessão de agente completa, taxa de acerto de cache entre turnos e comportamento de scheduler sob alta concorrência de rajadas de saída curtas. Pressão de cache KV de sessões de longa duração e pressão de scheduler de altos volumes de requisições de saída são as características de carga que importam; benchmarks de turn único perdem ambas.

Inferência serving para cargas de trabalho agnósticas é um problema de design de sistemas com multiplicadores. Corrija o harness antes de ajustar o modelo.