Databricks disponibilizou em open-source OfficeQA Pro V2, um benchmark de raciocínio fundamentado construído a partir de 120.000 páginas de registros financeiros do U.S. Treasury abrangendo 233 anos. O benchmark contém 90 questões extraídas de um corpus nunca visto por nenhum sistema testado—forçando generalização em vez de recompensar memorização.
A motivação é direta: modelos frontier melhoraram substancialmente no OfficeQA Pro original ao longo de sete meses. Isso levantou uma questão difícil—os ganhos eram evidência de melhor raciocínio ou overfitting em um único corpus? Databricks testou via Grounded Reasoning Cup, um evento ao vivo onde 11 equipes acadêmicas apoiadas por OpenAI, Anthropic e Google DeepMind construíram agentes especializados contra um corpus não divulgado. O benchmark agora é público.
Os harnesses padrão de provedores—Claude Code para Anthropic, Codex para OpenAI—alcançaram em média 26.0% de acurácia em cinco modelos. Sonnet 5 marcou 15.6% a $5.01 por rollout; GPT-5.6 Sol atingiu 33.3% a $4.70. Maior gasto não garantiu maior acurácia. Agentes de competição propósito-construídos alcançaram em média 41.1%, com a equipe vencedora atingindo 63.3%.
O achado maior: o harness do agent importa mais do que o modelo subjacente. Executar modelos frontier através de Databricks Genie—que faz pré-parse do corpus com ai_parse antes de qualquer interação de agent—melhorou a acurácia em 24.0 pontos em média, um ganho relativo de 92%. Em quatro comparações diretas de modelo, a acurácia média mudou de 37.5% para 52.8%; a configuração Genie mais forte alcançou 60%. Claude Fable 5 é ilustrativo: Claude Code padrão alcançou em média $37.36 por rollout e fez loop através de tentativas repetidas de parse; mudar para Genie reduziu o custo em 9x enquanto adicionava 14.4 pontos de acurácia. Na fronteira custo-qualidade, configurações Genie com GPT-5.6 Luna, GPT-5.6 Terra e Claude Fable 5 dominaram—melhor acurácia e menor custo que padrões de provedores.
Modos de falha persistentes espelham o benchmark original: erros de fidelidade de parsing, reconciliação temporal incorreta entre anos fiscais, e cadeias de raciocínio multi-hop quebrando quando evidência abrange seções não contíguas. Estes não são edge cases—correspondem aos padrões de falha em coleções de documentos mistos, vintage mista, inconsistentemente formatadas comuns em ambientes corporativos.
O benchmark usa scoring de exact-match determinístico com 0.0% de tolerância, a mesma abordagem que OfficeQA Pro. Essa rigidez evita inflação de crédito parcial e mantém resultados comparáveis entre configurações. O corpus—U.S. Treasury Accounts of Receipts and Expenditures, lançado para o 250º aniversário—está publicamente disponível para reprodução sem uma conta Databricks.
Para arquitetos avaliando RAG ou stacks de documento-agent, o benchmark está disponível para auto-avaliação. Os resultados Genie demonstram que infraestrutura de pré-parsing é de primeira ordem, não um detalhe de otimização. Um teto de 60% em 90 questões construídas a partir de PDFs governamentais deve moderar confiança em qualquer sistema promovido para document QA de produção.