O harness, não o modelo, decide se o agente sobrevive à produção
Setenta e duas horas. Foi o tempo entre achar uma falha numa biblioteca de imagens e comprometer repositórios internos da OpenAI. [ref: heap-overflow-and-sso-misconfiguration-compromised-openai-internal-repos]
E a mesma falha está em Slack, Meta e GitHub Enterprise. A superfície de ataque do agente já não é o modelo — é tudo em volta dele.
Este é o ai|expert Wire. Esta semana, a linha que une as falhas: o harness, não o modelo, decide se o agente sobrevive à produção.
Um heap overflow em libheif, a biblioteca que processa imagens HEIC, foi encadeado a uma falha de SSO e abriu contas de funcionários da OpenAI e repositórios internos do monorepo. [ref: heap-overflow-and-sso-misconfiguration-compromised-openai-internal-repos]
Do achado ao acesso ao repositório, setenta e duas horas — e a OpenAI pagou 6.500 dólares de bounty pelo relato. [ref: heap-overflow-and-sso-misconfiguration-compromised-openai-internal-repos]
E o mesmo padrão aparece do outro lado da cadeia, mirando não o servidor, mas a seleção de ferramentas do agente. O ataque A2M envenena metadados de ferramentas MCP e atinge 93,6% de taxa de invocação maliciosa no GLM-4.6. [ref: a2m-trace-optimized-agent-hijacking-in-the-mcp-ecosystem]
Não precisa de acesso aos pesos do modelo. Basta parecer semanticamente relevante o suficiente para o agente escolher a ferramenta errada.
O que dá razão ao argumento que a própria OpenAI está fazendo agora sobre harness: o problema nunca foi a qualidade do modelo, foi a confiança no que está em volta dele.
O framework que Vinoth Govindarajan apresentou na QCon resume isso numa frase: o modelo propõe, o harness confirma, e o recibo prova o que aconteceu. [ref: the-agent-harness-control-planes-invariants-and-approval-boundaries-for-producti]
E o exemplo mais revelador do texto não é uma falha visível — é um heartbeat interno confundido com trabalho para o usuário. Ninguém percebeu, porque o agente respondeu normalmente. [ref: the-agent-harness-control-planes-invariants-and-approval-boundaries-for-producti]
Se a superfície de ataque migrou para o harness, o custo de operar esse harness também migrou — e é aí que a conta fica mais estranha.
A escolha do harness não é cosmética. Um estudo de Berkeley e Arena Intelligence comparou 21 pares modelo-harness e achou o mesmo padrão em quase todos: sucesso quase idêntico, custo até cinco vezes maior. [ref: harnesstax-how-much-does-the-harness-matter-for-coding-agents]
Claude Code custa duas vezes mais que Pi rodando os mesmos modelos, com taxas de sucesso dentro de dois pontos percentuais uma da outra. [ref: harnesstax-how-much-does-the-harness-matter-for-coding-agents]
E isso é antes de o código chegar a produção. O benchmark SWE-Serve mostra que um terço dos patches que passam em todos os testes locais falham quando servidos de verdade — a lacuna entre a validação completa e a validação sem os testes ponta a ponta chega a 23,4 pontos percentuais. [ref: swe-serve-benchmarking-agentic-engineering-for-production-inference-serving]
Isso quebra a suposição padrão de todo pipeline de CI: passou no teste, pode subir. Não pode, se o teste não simula o caminho de servir o modelo de verdade.
A Linear sentiu essa pressão na prática. Os agentes aceleraram o volume de código e o CI virou o gargalo — eles cortaram o tempo de espera por PR de mais de 6 minutos para pouco mais de 5, mesmo com o conjunto de testes quase quadruplicando. [ref: ai-coding-made-ci-a-bottleneck-linear-reworked-theirs-to-keep-up]
E do outro lado do funil, antes de qualquer patch tocar produção, o isolamento importa tanto quanto a velocidade. É o argumento do Worker Previews, da Cloudflare: um ambiente por branch, com Durable Objects e Containers próprios, para o agente testar mudança de infraestrutura sem tocar tráfego real. [ref: cloudflare-worker-previews-isolated-environments-for-agent-changes]
Isolamento resolve o teste. Não resolve o custo. Cinco vezes mais caro por tarefa continua sendo cinco vezes mais caro, mesmo dentro de um ambiente perfeitamente isolado.
Talvez. Mas um ambiente isolado é a diferença entre descobrir isso numa branch e descobrir isso em produção.
O modelo continua sendo a parte fácil de medir — o harness é a parte que decide se o agente sobrevive à segunda-feira. The Wire, segunda. Bom trabalho por aí.