OpenAI Revela que 30% das Tarefas do SWE-Bench Pro Estão Quebradas

A auditoria da OpenAI do SWE-Bench Pro revelou que cerca de 30% de suas 731 tarefas de divisão pública não funcionam, com as taxas de aprovação do benchmark para modelos de fronteira aumentando de 23,3% para 80,3% em apenas oito meses, um aumento que os pesquisadores atribuem à degradação do benchmark e não a ganhos reais de capacidade.

O processo de auditoria é reprodutível para qualquer equipe usando APIs da OpenAI. Um filtro automatizado identificou 286 tarefas potencialmente quebradas ao examinar instruções de modelo, tentativas e testes de correção. Essas tarefas então passaram por duas revisões paralelas. Em uma, agentes supervisionados por humanos baseados no Codex com acesso total ao repositório executaram testes, inspecionaram arquivos e analisaram modos de falha de tentativas de modelo em várias repetições antes que um pesquisador fizesse um julgamento final. Na outra, cinco engenheiros de software experientes revisaram independentemente a instrução do problema, casos de teste e solução de referência de gold-patch, atribuindo classificações de gravidade com desacordos escalados e reconciliados. Os agentes Codex identificaram 200 tarefas, ou 27,4%, como quebradas, enquanto os revisores humanos encontraram 249, ou 34,1%. A OpenAI estima uma taxa de quebra geral de 30%, notando que em nenhuma tarefa sinalizada "não quebrada" foi a etiqueta humana mais comum.

A auditoria categorizou defeitos em quatro modos de falha: testes excessivamente rigorosos, prompts subespecificados, testes de baixa cobertura e prompts enganosos. Isso fornece aos designers de avaliação uma lista de verificação precisa para limpar benchmarks de codificação antes de usá-los para seleção de modelo.

A elevação de 57 pontos nas taxas de aprovação de fronteira na mesma divisão pública de 731 tarefas reflete de perto a taxa de descoberta de tarefas quebradas, sugerindo que o aumento indica mais sobre a podridão do benchmark do que sobre a habilidade melhorada de engenharia de software. O SWE-Bench Pro foi introduzido após seu antecessor, SWE-bench Verified, ser encontrado ter "questões fundamentais de design e contaminação". Seu substituto agora carrega um piso de ruído de aproximadamente 30% que invalida comparações finas entre fornecedores, levando a OpenAI a aconselhar a "examinar cuidadosamente os resultados" no SWE-Bench Pro.

Os revisores humanos eram mais propensos do que os agentes Codex a sinalizar tarefas como quebradas, indicando que filtros automatizados são um limite inferior. Equipes que confiem exclusivamente em auditorias baseadas em agentes podem perder defeitos. O processo de revisão humana também é caro, com cinco engenheiros sêniores por tarefa sinalizada, total independência e protocolos de escalonamento, tornando inviável dimensionar para conjuntos internos de mil tarefas sem incorrer em custos significativos. A OpenAI enfatiza a diferença entre ambiguidade razoável, que um modelo capaz pode resolver, e subespecificação verdadeira, que torna uma tarefa inadequada para medição. Para arquitetos que usam SWE-Bench Pro na contratação, lógica de roteamento de modelo ou portas CI, o risco é que decisões downstream possam otimizar para ruído do benchmark em vez da qualidade do código de produção.