Eduardo Valle e Fergal Reid publicaram "Protoreasoning in Tiny Transformers" em 5 de agosto de 2026, mostrando que modelos de 1M-parâmetros podem aprender raciocínio chain-of-thought (CoT). O achado quebra o vínculo assumido entre capacidade CoT e compute em escala de fronteira, possibilitando pesquisa mecanística barata e controlada.
O artigo introduz protoreasoning: modelos com 1M parâmetros são treinados para emitir traces passo a passo antes de produzir uma resposta final em tarefas de linguagem Dyck—formalmente parênteses aninhados. Linguagens Dyck fornecem um campo de teste limpo: sua estrutura é transparente algoritmicamente, generalização fora-da-distribuição é mensurável, e correção é inequívoca. Isso evita o problema central da pesquisa de fronteira: modelos treinados em terabytes de texto web conflitam memorização com raciocínio de maneiras que são difíceis de desemaranhar.
Dois resultados ancoram o trabalho. Primeiro, traces de protoreasoning fecham mensuravelmente a lacuna de generalização fora-da-distribuição: modelos treinados com traces passo a passo generalizam melhor para estruturas de parênteses ausentes no treinamento. Segundo, estudos de ablação confirmam que o conteúdo do trace impulsiona o ganho, não apenas os tokens extras. Um modelo treinado para emitir traces aleatórios ou embaralhados não melhora. CoT funciona através do conteúdo semântico de passos intermediários, não padding de tokens.
Isso complementa um debate teórico mais amplo. Merrill e Sabharwal (2024) provaram que tokens intermediários estendem a classe computacional do transformer—passos polinomiais de CoT permitem que transformers resolvam problemas de tempo polinomial que modelos de profundidade limitada sem scratchpad não conseguem. Valle e Reid fornecem confirmação empírica em pequena escala: CoT opera em 1M parâmetros e é orientado por conteúdo. Profundidade computacional, não contagem de parâmetros, impulsiona raciocínio multi-passo.
Para equipes estudando CoT em sistemas de produção, a implicação prática é focada em pesquisa: experimentos mecanísticos controlados não requerem mais execuções de treinamento em escala de fronteira. Trabalho anterior sobre dinâmica de CoT—incluindo Pengmei et al. (2025), que encontrou uma "fase de infidelidade" onde modelos de treinamento inicial produzem respostas corretas enquanto contradizem seu raciocínio—dependiam de modelos maiores e corpora opacos. O framework Valle/Reid possibilita essa análise com custo computacional negligenciável.
A limitação do artigo é escopo: linguagens Dyck são um domínio brinquedo. Os autores trabalham "bem abaixo do limiar para competência em linguagem natural" por design. Se protoreasoning escala para tarefas de linguagem natural, recuperação multi-hop, ou domínios sem estrutura algorítmica conhecida permanece não testado. Equipes compreendendo modos de falha de CoT em LLMs de produção devem superar essa lacuna.
O achado central: ganhos de CoT vêm de conteúdo de trace, não padding de tokens—agora empiricamente verificado em escala de 1M-parâmetros sem compute multi-GPU.