O agente de Stanford venceu a inaugural Grounded Reasoning Cup do Databricks com 63,3% de precisão no OfficeQA Pro V2, um benchmark construído a partir de 120.000 páginas de documentos financeiros do U.S. Treasury. Agentes de fronteira prontos para usar tiveram média abaixo de 30% no mesmo benchmark. Design de sistema venceu escolha de modelo.

A competição colocou 11 equipes acadêmicas dos EUA e Canadá uma contra a outra sob condições deliberadamente adversárias. Cada equipe parceriza com OpenAI, Anthropic ou Google DeepMind e foi travada à família de modelos do provedor. As equipes passaram dois meses otimizando contra OfficeQA, o benchmark de raciocínio fundamentado do Databricks. No dia da competição, receberam um novo corpus: o Accounts of Receipts and Expenditures do U.S. Treasury, divulgado 36 horas antes. A janela curta forçou as equipes a ingerir e indexar os dados sem overfitting.

Seis rodadas de 15 minutos, 15 questões cada. A dificuldade escalou; as questões da rodada final tiveram peso duplicado. A primeira resposta correta por questão recebeu um bônus de velocidade de 0,25 pontos, medindo precisão e latência.

Stanford venceu. UMass Amherst e Yale ficaram em segundo e terceiro. Os três terminaram com 20+ pontos de vantagem sobre o restante do campo. Equipes usando o mesmo modelo subjacente diferiram em média por 30,4 pontos, isolando design de sistema como a alavanca principal. As equipes principais compartilharam quatro táticas: pré-processamento de documentos antes da recuperação, execução paralela de agentes, uso de ferramentas estruturado com verificação explícita e fallbacks direcionados quando métodos primários de representação de documentos falharam. Stanford empacotou esses em uma biblioteca de habilidades com verificação de resposta adaptativa.

Em todas as 90 questões da competição, 18,8% permaneceram sem solução por todas as equipes. Estas representam lacunas sistemáticas de recuperação e análise que nenhuma arquitetura fechou. O sistema vencedor de Stanford, que superou agentes de fronteira de baseline por 35 pontos, respondeu corretamente apenas 63,3% das questões. O raciocínio fundamentado de empresa sobre corpus financeiros complexos permanece não resolvido.

O desenvolvimento de agentes conduzido por benchmark apresenta um problema antigo: técnicas ajustadas a um corpus conhecido não generalizam de forma confiável. Abordagens fortes no OfficeQA degradaram na estrutura de documento diferente e vocabulário do OfficeQA Pro V2. O corpus mantido em segredo, do mesmo dia, tornou essa falha visível. Benchmarks estáticos não forçam esse teste.

Para pipelines RAG de produção e sistemas document-QA, os resultados da Grounded Reasoning Cup sugerem um checklist concreto. Fallbacks de recuperação—não estratégias únicas—são estruturais. Lanes de agentes paralelos com verificação separada melhoram throughput e confiança. A latência é observável e tem custo: o bônus de velocidade modela fila de produção. Trocas de modelo dentro do mesmo provedor deslocam scores por pontos; mudanças em nível de sistema os movem por dezenas.

O suite de benchmark OfficeQA é público. Praticantes construindo agentes de documento de empresa agora têm um teste reproduzível para os modos de falha que a Grounded Reasoning Cup expôs.