Escolha do Harness tem mais importância do que o preço do modelo para agentes de codificação

Databricks desenvolveu um benchmark interno de agentes de codificação em sua base de código multi-milinhada, que inclui Python, Go, TypeScript, Scala, Rust, Java, Bazel e Protobuf. O benchmark revelou que a cobrança por token é um preditor ineficaz dos custos de produção, e a escolha do harness do agente pode mais que dobrar os custos da tarefa sem afetar a qualidade da saída, conforme detalhado em uma postagem recente no blog de engenharia da Databricks. O benchmark utilizou PRs internos reais revisados pela precisão para evitar a vazamento de dados de treinamento e problemas de distorção de linguagem que afetam avaliações públicas como SWE-Bench e TerminalBench.

A avaliação categorizou os modelos em três níveis de capacidade. Na camada superior, GLM 5.2 estava estatisticamente empatado com Opus 4.8 em qualidade de conclusão de tarefa, custando US$ 1,28 por tarefa em comparação com US$ 1,94 do Opus 4.8. Apesar de Sonnet 5 ser aproximadamente 1,7x mais barato por token do que Opus 4.8, custou mais por tarefa em US$ 2,09 versus US$ 1,94 devido a consumir 1,9x os tokens para concluir o trabalho. Sonnet 5 também completou apenas 81% das tarefas, em comparação com 87% do Opus 4.8. Para facilitar a troca de modelos e harnesses sem problemas, Databricks construiu uma camada de abstração interna chamada Omnigent e usou Unity AI Gateway para registrar todas as interações para análise de custo e complexidade downstream.

Operacionalmente, os dados sugerem uma estratégia de implantação em camadas. Tarefas rotineiras, como alterações de configuração, atualizações de sinalizadores e mudanças de padrão, devem ser direcionadas para modelos de camada média, como 'Haiku e GPT 5.4 Mini', com modelos de camada superior reservados para problemas mais complexos. Um gancho operacional significativo é o harness; executar o mesmo modelo por meio de Pi versus Claude Code ou Codex resultou na mesma qualidade, mas custou mais do que o dobro com os harnesses mais pesados. Pi enviou aproximadamente três vezes menos contexto por turno, geriu a janela de contexto apertadamente e completou tarefas em menos execuções, enquanto Claude Code e Codex forneceram mais contexto ambiente por turno, aumentando os custos sem melhorar a precisão.

Construir um benchmark interno representativo em mais de 10 idiomas e serviços, curar PRs reais e revisá-los manualmente pela precisão do ground-truth é um grande investimento para equipes de plataforma. Benchmarks públicos são inseguros devido a vazamento de dados e porque avaliações pesadas em Java ou apenas em Python fornecem pouca informação para lojas que executam Rust, Scala e Bazel. Equipes que confiam em pontuações de quadros estão essencialmente subcontratando sua seleção de fornecedores para conjuntos de dados de benchmark que seus modelos de destino podem já ter memorizado.

Implementar um sistema de roteamento em camadas requer uma camada de despacho que classifique a complexidade da tarefa antes de selecionar um modelo, bem como telemetria para garantir que o roteador não esteja enviando problemas difíceis para modelos baratos, criando ciclos de repetição. A diferença de custo do harness indica que a maioria das equipes está perdendo dinheiro em configurações de agentes padrão - Claude Code e Codex são convenientes, mas se eles triplicam o contexto por turno, a vantagem de custo de um modelo barato é imediatamente perdida. O uso da Databricks do Unity AI Gateway para registro completo de interações é um sinal de que, sem rastros granulares, atribuir custo ao modelo, ao harness ou ao comportamento de gerenciamento de contexto não é possível.

A lição é clara: construa seu próprio benchmark em PRs reais de sua pilha real, pois o preço por token na lista é uma métrica ilusória e o gerenciamento de contexto do harness pode dominar a conta mais do que a escolha do modelo.