Um novo benchmark do Navers Lab e Einsia.AI quantifica um limite duro: agentes LLM não conseguem reescrever algoritmos de treinamento para produzir modelos melhores. AI4AI-Bench, publicado em 20 de agosto, testa 6 sistemas em 29 configurações em 10 repositórios de pesquisa congelados e encontra uma pontuação média de 0.166 em uma escala normalizada onde 0.1 é o algoritmo de linha de base que o repositório já fornece e 1.0 é o ótimo da tarefa. O melhor sistema único atinge 0.250 — fechando menos de um quinto da lacuna entre o atual e o possível.

O design do benchmark é adversarial a atalhos. Cada repositório cobre uma família distinta de algoritmos de treinamento — objetivos, regras de atualização, cronogramas de regularização — e é congelado para que o agente não possa trocar datasets ou ajustar hiperparâmetros para vencer. O agente tem 4 horas em uma GPU B300 para ler código, propor mudanças e testar ideias contra uma métrica proxy barata. Ele produz um patch de código-fonte e nada mais: sem pesos em cache, sem estado retido. Esse patch é aplicado em um container novo e a execução de treinamento completa é executada por até 12 horas, mantendo no máximo três checkpoints. Um avaliador fixo, oculto do agente durante sua janela de 4 horas, pontua o resultado contra a execução do algoritmo original sob condições idênticas.

A maioria dos agentes nunca muda como o modelo aprende. Eles movem pesos de perda, ajustam tamanhos de batch ou não fazem nada substancial. Submissões que realmente editam o algoritmo de aprendizado têm média de 0.226 na escala do benchmark; submissões que não fazem têm média de 0.126. Essa lacuna de 0.100 ponto é o delta inteiro entre uma tentativa significativa e inércia.

Configurações de raciocínio superior levam a fração "edita o algoritmo de aprendizado" de 8% a 64% das submissões e elevam a pontuação média de 0.094 a 0.196. Mais pensamento compra disposição de entrar no código de treinamento, não capacidade de melhorá-lo uma vez lá. Nenhum sistema testado demonstra invenção algorítmica confiável.

O artigo coloca este benchmark em um slot teórico específico. Melhorias algorítmicas — Adam, normalização de camada, DPO, GRPO — se acumulam em todas as execuções de treinamento subsequentes. Ganhos em nível de sistemas são limitados por rooflines de hardware. Ganhos em nível de dados são limitados por texto humano finito e seguem retornos decrescentes de lei de potência. Design algorítmico é diferente: um objetivo melhor muda a taxa de câmbio compute-capacidade para todas as execuções futuras, incluindo a execução que produz o próximo agente. Se a melhoria auto-recursiva se acumula, é aqui que deve se originar. Agentes atuais não conseguem conduzir isso.

Benchmarks existentes não mediram isso. MLE-Bench recompensa engenharia de features e ensembling enquanto o algoritmo de aprendizado permanece uma chamada de biblioteca que o agente nunca toca. PostTrainBench's alavancas principais são montagem de dados e inicialização. RSIBench-Data (Evolvent AI / National University of Singapore) deliberadamente congela a pilha pós-treinamento para que apenas decisões centradas em dados variem — e agentes frontier melhoram em sua primeira tentativa em apenas 58.33% das configurações, com 78.26% das buscas continuadas terminando abaixo de sua própria pontuação máxima. Frontis-MA1-35B (Horizon Research / Frontis.AI / Tsinghua) leva resultados de engenharia MLE a 71.21% Medal Average no MLE-Bench Lite, mas esse domínio de tarefa é competições de previsão — não invenção de algoritmo de treinamento.

Para equipes avaliando automação agentic de sua pilha ML: agentes conseguem otimizar em torno de um algoritmo de treinamento mas não conseguem substituir o pesquisador que o projeta. Design algorítmico permanece o único nível RSI que requer um humano.