El agente de Stanford ganó la inaugural Grounded Reasoning Cup de Databricks con una precisión del 63,3% en OfficeQA Pro V2, un benchmark construido a partir de 120.000 páginas de documentos financieros del U.S. Treasury. Los agentes de frontera listos para usar tuvieron un promedio por debajo del 30% en el mismo benchmark. El diseño del sistema ganó sobre la elección de modelo.

La competencia enfrentó a 11 equipos académicos de EE.UU. y Canadá uno contra otro bajo condiciones deliberadamente adversas. Cada equipo se asoció con OpenAI, Anthropic o Google DeepMind y fue fijado a la familia de modelos del proveedor. Los equipos pasaron dos meses optimizando contra OfficeQA, el benchmark de razonamiento fundamentado de Databricks. El día de la competencia, recibieron un nuevo corpus: el Accounts of Receipts and Expenditures del U.S. Treasury, publicado 36 horas antes. La ventana corta obligó a los equipos a ingerir e indexar los datos sin overfitting.

Seis rondas de 15 minutos, 15 preguntas cada una. La dificultad se escaló; las preguntas de la ronda final tuvieron peso duplicado. La primera respuesta correcta por pregunta obtuvo una bonificación de velocidad de 0,25 puntos, midiendo precisión y latencia.

Stanford ganó. UMass Amherst y Yale ocuparon el segundo y tercer lugar. Los tres terminaron 20+ puntos por delante del resto del campo. Los equipos que utilizaban el mismo modelo subyacente difirieron en un promedio de 30,4 puntos, aislando el diseño del sistema como la palanca principal. Los equipos principales compartieron cuatro tácticas: preprocesamiento de documentos antes de la recuperación, ejecución paralela de agentes, uso de herramientas estructurado con verificación explícita y fallbacks dirigidos cuando los métodos primarios de representación de documentos fallaron. Stanford empaquetó estos en una biblioteca de habilidades con verificación de respuesta adaptativa.

En todas las 90 preguntas de la competencia, el 18,8% quedó sin resolver por todos los equipos. Estos representan brechas sistemáticas de recuperación y análisis que ninguna arquitectura cerró. El sistema ganador de Stanford, que superó a los agentes de frontera base por 35 puntos, aún respondió correctamente solo el 63,3% de las preguntas. El razonamiento fundamentado empresarial sobre corpus financieros complejos sigue sin resolverse.

El desarrollo de agentes impulsado por benchmarks presenta un problema antiguo: las técnicas ajustadas a un corpus conocido no generalizan de manera confiable. Los enfoques fuertes en OfficeQA se degradaron en la estructura de documento diferente y vocabulario de OfficeQA Pro V2. El corpus retenido, del mismo día, hizo esta falla visible. Los benchmarks estáticos no fuerzan esta prueba.

Para pipelines RAG de producción y sistemas document-QA, los resultados de la Grounded Reasoning Cup sugieren una lista de verificación concreta. Los fallbacks de recuperación—no estrategias únicas—son estructurales. Las líneas de agentes paralelos con verificación separada mejoran el rendimiento y la confianza. La latencia es observable y tiene costo: la bonificación de velocidad modela el encolamiento de producción. Los intercambios de modelos dentro del mismo proveedor desplazan puntuaciones por puntos; los cambios a nivel de sistema los mueven por decenas.

El conjunto de benchmark OfficeQA es público. Los profesionales que construyen agentes de documentos empresariales ahora tienen una prueba reproducible para los modos de fallo que la Grounded Reasoning Cup expuso.