Modelos fronterizos saturan benchmark GPQA-Diamond en 93–94%; SWE-bench Pro se convierte en diferenciador clave
Todos los principales modelos fronterizos—Claude Opus 4.8, Gemini 3.1 Pro y GPT-5.5—han convergido al 93–94% en GPQA-Diamond, un benchmark de opción múltiple de nivel de PhD en biología, química y física lanzado a finales de 2023. El benchmark se ha saturado estadísticamente; la diferencia de 0,7 puntos entre el primero y el tercer lugar está dentro del margen de error. Hace dos años (noviembre de 2023), GPT-4 obtuvo solo el 39% en GPQA-Diamond; el salto al 93–94% a mediados de 2026 demuestra un progreso rápido en el razonamiento a nivel de posgrado, pero también señala que el benchmark ya no diferencia significativamente los modelos fronterizos. Anthropic, OpenAI y Google han declarado saturación de GPQA en sus fichas del sistema.
El cambio de saturación altera qué puntos de referencia importan para la clasificación. SWE-bench Pro (variante más difícil con menos fuga pública) y Humanity's Last Exam (razonamiento escrito por expertos) ahora muestran separación real. En SWE-bench Pro, Opus 4.8 lidera con 69,2% frente a GPT-5.5 con 58,6% y Gemini 3.1 Pro con 54,2% —una brécha de 15 puntos. En Humanity's Last Exam con herramientas, Opus 4.8 obtiene 57,9%, y el marcador abarca un rango más amplio, indicando espacio aún abierto. El campo está redefiniendo puntos de referencia, con FrontierMath (Epoch AI) y SWE-bench Verified (problemas de GitHub) emergiendo como tareas de filtrado más difíciles. Más drámtico: Claude Opus 4.8 alcanzó el 96,7% en USAMO 2026 (pruebas de nivel olímpico), un salto de 27,4 puntos del 69,3% de Opus 4.7, señalando un cambio cualitativo en el razonamiento a nivel de prueba matemática.
La implicación: GPQA-Diamond y otros benchmarks saturados ya no sirven como filtros de capacidad. Cuando los evals posteriores convergen, la distribución de diferenciación se invierte—se mueve del razonamiento de alto nivel (que todos los modelos ahora manejan bien) al rendimiento de tarea aplicada (codificación a escala, flujos de trabajo agénticos de herramientas múltiples, síntesis de contexto largo, alineación/honestidad). La saturación de punto de referencia no es un fracaso; es evidencia de progreso. También significa que las decisiones de selección de modelo ahora descansan en evaluación específ ica de carga de trabajo en lugar de comparaciones de razonamiento entre dominios.
Para arquitectos: si su evaluación se basó en GPQA-Diamond o MMLU, actualice su suite de benchmark. Pruebe contra SWE-bench Pro (para codificación), Humanity's Last Exam (para razonamiento agéntico con herramientas) y evaluaciones OSWorld o BrowserAgent (para la finalización de tareas del mundo real). Observe los lanzamientos de FrontierMath de Epoch AI y las evaluaciones específicas de dominio de Vals AI. El costo por salida correcta ahora es más importante que la clasificación de punto porcentual en benchmarks saturados. Planifique su selección de modelo en torno a casos de uso específicos, no a marcadores generales de frontera.