Un nuevo benchmark de Navers Lab y Einsia.AI cuantifica un límite duro: los agentes LLM no pueden reescribir algoritmos de entrenamiento para producir modelos mejores. AI4AI-Bench, publicado el 20 de agosto, prueba 6 sistemas en 29 configuraciones en 10 repositorios de investigación congelados y encuentra una puntuación promedio de 0.166 en una escala normalizada donde 0.1 es el algoritmo de línea base que el repositorio ya proporciona y 1.0 es el óptimo de la tarea. El mejor sistema individual alcanza 0.250 — cerrando menos de una quinta parte de la brecha entre lo actual y lo posible.

El diseño del benchmark es adversarial a atajos. Cada repositorio cubre una familia distinta de algoritmos de entrenamiento — objetivos, reglas de actualización, cronogramas de regularización — y está congelado para que el agente no pueda intercambiar conjuntos de datos o ajustar hiperparámetros para ganar. El agente obtiene 4 horas en una GPU B300 para leer código, proponer cambios y probar ideas contra una métrica proxy barata. Produce un parche de código fuente y nada más: sin pesos en caché, sin estado retenido. Ese parche se aplica en un contenedor nuevo y la ejecución completa del entrenamiento se ejecuta hasta 12 horas, manteniendo como máximo tres puntos de control. Un evaluador fijo, oculto del agente durante su ventana de 4 horas, califica el resultado contra la ejecución del algoritmo original bajo condiciones idénticas.

La mayoría de los agentes nunca cambian cómo el modelo aprende. Mueven pesos de pérdida, ajustan tamaños de lote, o no hacen nada sustancial. Las presentaciones que realmente editan el algoritmo de aprendizaje promedian 0.226 en la escala de benchmark; las que no lo hacen promedian 0.126. Esa brecha de 0.100 puntos es la diferencia completa entre un intento significativo e inercia.

Las configuraciones de razonamiento superior llevan la fracción "edita el algoritmo de aprendizaje" de 8% a 64% de las presentaciones y elevan la puntuación promedio de 0.094 a 0.196. Más pensamiento compra disposición de adentrarse en el código de entrenamiento, no capacidad de mejorarlo una vez allí. Ningún sistema probado demuestra invención algorítmica confiable.

El artículo coloca este benchmark en un slot teórico específico. Las mejoras algorítmicas — Adam, normalización de capas, DPO, GRPO — se acumulan en cada ejecución de entrenamiento posterior. Las ganancias a nivel de sistemas están limitadas por techos de hardware. Las ganancias a nivel de datos están limitadas por texto humano finito y siguen retornos decrecientes de ley de potencia. El diseño algorítmico es diferente: un objetivo mejor cambia la tasa de cambio compute-capacidad para todas las ejecuciones futuras, incluida la ejecución que produce el siguiente agente. Si la mejora auto-recursiva se acumula, es aquí donde debe originarse. Los agentes actuales no pueden impulsarla.

Los benchmarks existentes no han medido esto. MLE-Bench recompensa la ingeniería de características y el ensamblaje mientras que el algoritmo de aprendizaje permanece como una llamada de biblioteca que el agente nunca toca. Las palancas primarias de PostTrainBench son el ensamblaje de datos y la inicialización. RSIBench-Data (Evolvent AI / National University of Singapore) congela deliberadamente la pila posterior al entrenamiento para que solo varíen las decisiones centradas en datos — y los agentes frontera mejoran en su primer intento en solo 58.33% de las configuraciones, con 78.26% de búsquedas continuadas terminando por debajo de su propia puntuación máxima. Frontis-MA1-35B (Horizon Research / Frontis.AI / Tsinghua) lleva los resultados de ingeniería MLE a 71.21% Medal Average en MLE-Bench Lite, pero ese dominio de tarea son competiciones de predicción — no invención de algoritmo de entrenamiento.

Para equipos que evalúan la automatización agnóstica de su pila ML: los agentes pueden optimizar alrededor de un algoritmo de entrenamiento pero no pueden reemplazar al investigador que lo diseña. El diseño algorítmico permanece como el único nivel RSI que requiere un humano.