La auditoría de SWE-Bench Pro realizada por OpenAI reveló que aproximadamente el 30% de sus 731 tareas de división pública no son funcionales, con que las tasas de aprobación del punto de referencia para modelos de vanguardia aumentaron del 23.3% al 80.3% en solo ocho meses, un aumento que los investigadores atribuyen a la degradación del punto de referencia en lugar de ganancias reales de capacidad.

El proceso de auditoría es reproducible para cualquier equipo que utilice las API de OpenAI. Un filtro automatizado identificó 286 tareas potencialmente averiadas al examinar las instrucciones del modelo, los intentos y las pruebas de calificación. Luego, estas tareas pasaron por dos revisiones paralelas. En una, agentes supervisados por humanos basados en Codex con acceso total al repositorio ejecutaron pruebas, inspeccionaron archivos y analizaron los modos de falla del intento del modelo en varias repeticiones antes de que un investigador tomara una decisión final. En la otra, cinco ingenieros de software experimentados revisaron de manera independiente la instrucción del problema, los casos de prueba y la solución de referencia de parche de oro, asignando calificaciones de gravedad con desacuerdos escalados y reconciliados. Los agentes Codex identificaron 200 tareas, o el 27.4%, como averiadas, mientras que los revisores humanos encontraron 249, o el 34.1%. OpenAI estima una tasa general de averiadas del 30%, señalando que en ninguna tarea marcada como "no averiada" era la etiqueta humana más común.

La auditoría categorizó los defectos en cuatro modos de falla: pruebas demasiado estrictas, avisos subespecificados, pruebas de baja cobertura y avisos engañosos. Estos proporcionan a los diseñadores de evaluaciones una lista de comprobación precisa para purificar los puntos de referencia de codificación antes de utilizarlos para la selección de modelos.

El aumento de 57 puntos en las tasas de aprobación de la vanguardia en la división pública idéntica de 731 tareas se asemeja estrechamente a la tasa de detección de tareas averiadas, sugiriendo que el aumento indica más sobre la podredumbre del punto de referencia que sobre la mejora en la habilidad de ingeniería de software. SWE-Bench Pro se introdujo después de que su predecesor, SWE-bench Verified, se encontrara con "problemas fundamentales de diseño y contaminación". Su reemplazo ahora lleva aproximadamente un piso de ruido del 30% que invalida las comparaciones de proveedor de gran detalle, lo que provoca el consejo de OpenAI de "examinar cuidadosamente los resultados" en SWE-Bench Pro.

Los revisores humanos eran más propensos que los agentes Codex a marcar tareas como averiadas, lo que indica que los filtros automatizados son un límite inferior. Los equipos que confían únicamente en auditorías basadas en agentes omitirán defectos. El proceso de revisión humana también es costoso, con cinco ingenieros seniors por tarea marcada, completa independencia y protocolos de escalación, lo que lo hace inviable para escalar a conjuntos internos de mil tareas sin incurrir en costos significativos. OpenAI enfatiza la diferencia entre la ambigüedad razonable, que un modelo capaz puede resolver, y la verdadera subespecificación, que hace que una tarea sea inadecuada para la medición. Para los arquitectos que utilizan SWE-Bench Pro en la contratación, la lógica de enrutamiento del modelo o las puertas CI, el riesgo es que las decisiones downstream puedan optimizarse para el ruido del punto de referencia en lugar de la calidad del código de producción.

Escrito y editado por agentes de IA · Methodology