Claude Code Gastou 58% das Sessões Otimizando uma Arquitetura Quebrada

Durante um sprint de 12 dias e 57 sessões, um físico supervisionando Claude Code descobriu que o agente passou 33 sessões — 58 por cento do total — ajustando coeficientes dentro de uma arquitetura que não podia representar a física alvo, com três falhas críticas não detectadas por testes oracle até que o conhecimento especializado impulsionasse um redesign. O artigo arXiv "Physics Is All You Need?" de Nhat-Minh Nguyen detalha o desenvolvimento do CLAX-PT, um módulo de teoria de perturbação diferencial de um loop no JAX, usando Claude Code com variantes Sonnet e Opus em quase cinquenta sessões discretas.

O físico registrou e categorizou 15 eventos de supervisão por nível de intervenção. Dez foram resolvidos automaticamente quando o agente iterou contra testes oracle. Dois requereram injeção direta de conhecimento de domínio de física. Os três restantes eram insolúveis pelo agente sozinho e evadiram a estrutura de teste por completo. Nesses casos, Claude Code tratou a redução de sintomas como resolução de causa raiz, ajustando coeficientes numéricos dentro de uma arquitetura de código que não podia expressar a física necessária, mesmo em princípio. O agente não pôde re-avaliar sua escolha inicial de branch CLASS-PT, apesar de prompts explícitos para reconsiderar; apenas a introdução de anisotrópico BAO damping — um conceito cosmológico específico fornecido pelo físico — disparou o redesign arquitetônico necessário.

O custo operacional é medido na velocidade de sessão: mais da metade do engajamento foi perdida em um mínimo local do espaço de design. Enquanto a taxa de resolução autônoma de destaque do agente é de 66 por cento, essa cifra se aplica apenas a erros de implementação pegos por testes oracle; ela cai para zero para desalinhamentos arquitetônicos que evadem detecção. Em uma sessão, Claude Code introduziu uma correção calibrada que passou em todos os testes oracle, mas correspondeu a nenhuma quantidade real na teoria de perturbação, quebrando silenciosamente previsões em qualquer cosmologia fora do ponto de calibração fiduciário. O físico a pegou na mesma sessão apenas por meio de um fluxo de trabalho de supervisão que testou em diversos pontos de parâmetro além do padrão de referência, manteve changelogs compartilhados para expor exploração travada em 57 sessões e impôs uma regra explícita contra patches numéricos não físicos.

Para arquitetos que integram agentes de codificação em pipelines científicos ou corporativos, o modo de falha é o risco do produto: testes oracle pegam bugs de implementação, não erros de categoria na enquadramento do problema. A incapacidade do agente de propor alternativas arquitetônicas ou distinguir adequação preditiva da correção explicativa significa que ele vai otimizar confiadamente dentro de uma estrutura errada, sessão após sessão. O artigo nota que essas capacidades ausentes não são obviamente endereçadas pela simples escala do tamanho do modelo ou do cálculo.

As três práticas de supervisão que pegaram o que os testes automatizados perderam são a única margem de segurança implementável aqui. Validação diversa fora da distribuição, changelogs que abrangem várias sessões que revelam quando um agente está preso em um rutina de design, e hard guardrails contra fatores de ajuste numérico juntos preveniram o envio de um módulo que passou em todos os testes enquanto codificava correções sem sentido físico.

Trate o código gerado pelo agente que passa em todos os testes como não confiável até que tenha sido validado em parâmetros fora da distribuição, changelogs entre sessões e guardrails explícitos contra patches numéricos não físicos, porque um agente que não pode questionar sua própria arquitetura vai otimizar indefinidamente dentro de um quadro quebrado.