Eduardo Valle y Fergal Reid publicaron "Protoreasoning in Tiny Transformers" el 5 de agosto de 2026, demostrando que los modelos de 1M-parámetros pueden aprender razonamiento chain-of-thought (CoT). El hallazgo rompe el vínculo asumido entre la capacidad de CoT y el compute a escala de frontera, permitiendo investigación mecanística barata y controlada.
El artículo introduce protoreasoning: modelos con 1M parámetros se entrenan para emitir trazas paso a paso antes de producir una respuesta final en tarefas de lenguaje Dyck—formalmente corchetes anidados. Los lenguajes Dyck proporcionan un banco de pruebas limpio: su estructura es algorítmicamente transparente, la generalización fuera de la distribución es medible, y la corrección es inequívoca. Esto evita el problema central de la investigación de frontera: los modelos entrenados en terabytes de texto web confunden la memorización con el razonamiento de maneras que son difíciles de desentrañar.
Dos resultados anclan el trabajo. Primero, las trazas de protoreasoning cierran mediblemente la brecha de generalización fuera de la distribución: los modelos entrenados con trazas paso a paso generalizan mejor a estructuras de corchetes ausentes del entrenamiento. Segundo, los estudios de ablación confirman que el contenido de la traza impulsa la ganancia, no solo los tokens adicionales. Un modelo entrenado para emitir trazas aleatorias o desordenadas no mejora. CoT funciona a través del contenido semántico de pasos intermedios, no del relleno de tokens.
Esto complementa un debate teórico más amplio. Merrill y Sabharwal (2024) demostraron que los tokens intermedios extienden la clase computacional del transformer—los pasos de CoT polinomiales permiten que los transformers resuelvan problemas de tiempo polinomial que los modelos de profundidad acotada sin scratchpad no pueden. Valle y Reid proporcionan confirmación empírica a pequeña escala: CoT opera en 1M parámetros y está impulsado por contenido. La profundidad computacional, no la cantidad de parámetros, impulsa el razonamiento de múltiples pasos.
Para los equipos que estudian CoT en sistemas de producción, la implicación práctica es enfocada en la investigación: los experimentos mecanísticos controlados ya no requieren ejecuciones de entrenamiento a escala de frontera. Trabajo anterior sobre dinámicas de CoT—incluyendo Pengmei et al. (2025), que encontró una "fase de infidelidad" donde los modelos en entrenamiento temprano producen respuestas correctas mientras contradicen su razonamiento—se basaba en modelos más grandes y corpus opacos. El framework Valle/Reid permite este análisis a costo computacional negligible.
La limitación del artículo es el alcance: los lenguajes Dyck son un dominio de juguete. Los autores trabajan "muy por debajo del umbral de competencia en lenguaje natural" por diseño. Si el protoreasoning escala a tarefas de lenguaje natural, recuperación multi-salto, o dominios sin estructura algorítmica conocida sigue siendo una pregunta sin respuesta. Los equipos que entienden los modos de fallo de CoT en LLMs de producción deben cerrar esta brecha.
El hallazgo central: las ganancias de CoT provienen del contenido de la traza, no del relleno de tokens—ahora verificado empíricamente a escala de 1M-parámetros sin compute multi-GPU.