A capacidade do Muon de acelerar grokking em treinamento de transformers tem um lado sombrio: um novo estudo empírico publicado em 7 de agosto de 2026 pelo IBM Research mostra que modelos treinados sob a divisão híbrida padrão Muon/AdamW fazem grokking de aritmética modular rapidamente e depois colapsam. Todas as nove configurações de otimizador testadas em (a+b) mod 113 fizeram grokking e depois perderam generalização. Entre cinco sementes, a referência AdamW selecionada se recuperou, mas ainda caiu abaixo do limiar de precisão em quatro delas, atingindo 27,59%.

A falha não é um caso extremo. Os autores Ali Janati, Kaoutar El Maghraoui, Andrei Kanavalau e Anass Belfatmi testaram a mesma configuração em dois módulos, duas larguras de modelo, duas frações de dados de treinamento, subtração modular e múltiplas profundidades. Cada variante colapsou. A causa raiz é estrutural: a camada de representação e a leitura de saída são constrangidas conjuntamente apenas até um mapa linear invertível que a perda de entropia cruzada nunca resolve. Não há uma solução única que o gradiente está tentando encontrar, então nenhum grupo de parâmetros está ancorado em nada fixo.

A divergência se torna aguda uma vez que o modelo resolve o conjunto de treinamento. A norma do gradiente cai para ordem 10^−6, efetivamente quase zero. Os dois grupos de otimizador respondem de forma oposta: a elasticidade de tamanho de passo do Muon é −0,03 enquanto a do AdamW é +1,5. Muon move seu grupo de parâmetros 8,0 vezes mais rápido por parâmetro. Muon continua reformulando matrizes de peso oculto enquanto embeddings gerenciados por AdamW e cabeça de saída derivam em uma fração dessa taxa. A interface de representação-leitura, já ambígua por construção, é agora puxada para longe por velocidades de atualização incompatíveis.

A evidência mais clara do artigo vem de um experimento de congelamento. Começando de checkpoints bit-idênticos, os pesquisadores congelaram um grupo de parâmetros em 451.400 etapas pós-grokking em cinco sementes emparelhadas. Congelar o grupo de embedding e leitura—o lado AdamW—eliminou completamente o colapso: zero avaliações sub-limiar em execuções congeladas, comparado a 137–321 em braços descongelados. Um botão desliga a falha.

Remover ortonormalização e normalização do Muon não resolve o problema. Sem essas operações, a representação interna de Fourier colapsa de 326 pares conjugados efetivos para 4. Essa variante não mostra colapso recorrente, mas falha terminalmente em vez disso—uma catástrofe diferente. As propriedades de preservação de geometria do Muon são necessárias para que a representação rica exista. Elas também tornam a incompatibilidade de velocidade pós-grokking tão prejudicial.

A análise de circuito de Fourier em 43 checkpoints e cinco sementes esclarece a mecânica. Em operação normal, a família de Fourier alinhada com a tarefa atinge 100% de precisão por conta própria. No regime de colapso, dois modos de falha emergem: falha de circuito, onde a família de Fourier alinhada com a tarefa para de resolver a tarefa completamente, e mascaramento, onde permanece perfeita mas é superada por um resto adversarial quase igual—o modelo completo atinge 45,85%. Redimensionar o circuito alinhado com a tarefa restaura 99,9%. Um detalhe crítico: através de um colapso abrupto, o suporte padrão de Fourier e o cosseno de distribuição de potência (0,9899) permanecem estáveis. O diagnóstico padrão não sinaliza falha antes de ocorrer.

Isso importa para qualquer um rodando Muon em produção. A divisão padrão—Muon em matrizes de peso oculto, AdamW em embeddings e cabeça de saída—é implantada em Moonlight e supostamente usada nas execuções de treinamento de >1T-parâmetros do Kimi. Um artigo anterior (Wang, 2026) mostrou que reduzir a contagem de iteração de Newton-Schulz de cinco para um torna a solução grokked frágil em taxas de aprendizado mais altas. O novo trabalho mostra que instabilidade é possível até mesmo com a configuração canônica de cinco iterações, impulsionada puramente por assimetria de velocidade pós-grokking.

A correção cirúrgica que o artigo demonstra é congelar o grupo de embedding/leitura uma vez que o modelo resolve o conjunto de treinamento. Se isso generaliza além de aritmética modular para pré-treinamento em larga escala permanece uma questão aberta. O que não é mais aberto: monitoramento de espectro de Fourier não vai pegar esse colapso, e a suposição padrão de que grokking implica uma solução generalizada estável está errada.