Três rodadas de auto-treinamento LoRA rank-32 em Qwen3-8B. Zero ganhos detectáveis. Pior: o auto-treinamento degradou problemas que o modelo base já havia resolvido, em taxas mensuravelmente elevadas. Esse é o resultado central de "Phantom Gains: Auditing Self-Improvement Against a Measured Null" (Ganhos Fantasma: Auditando Auto-Melhoria Contra um Nulo Medido), publicado no arXiv em 20 de agosto de 2026 por Xu, Yan, Chen e Kechadi. O artigo identifica sete falhas de medição na avaliação padrão de auto-melhoria, cada uma capaz sozinha de inverter uma conclusão reportada.

A questão: equipes migraram de acurácia média para rastreamento de ganhos e perdas por problema ao longo de rodadas de treinamento. Essa visão granular revela mais, mas introduz um problema composto. Os registros de ganho/perda são construídos diferenciando duas estimativas ruidosas—taxas de aprovação pré e pós-treinamento por problema. O ruído em qualquer estimativa se propaga diretamente para o sinal de capacidade. Sem uma distribuição nula medida separadamente, você não consegue distinguir uma aquisição real de flutuação aleatória.

Os autores executaram um controle Qwen3-8B congelado através do pipeline de avaliação idêntico dos braços treinados. Qualquer mudança medida é, por definição, um artefato. Um registro construído em decodificação gulosa única fabrica mudanças de capacidade no modelo não-treinado—um artefato do agrupamento de inferência, não aprendizado. A estatística de expansão, projetada para separar aquisição genuína de habilidade do aprimoramento de conhecimento parcial, atribui ao modelo congelado uma taxa de 0,280. Essa pontuação implica aprendizado onde nenhum ocorreu.

O "reparo natural de limite" padrão não corrige isso. A distribuição nula permanece não-zero quando estimada em comparações congeladas em um estudo multi-braço. Esse reparo calibra contra sinal contaminado por ruído.

O artigo propõe um teste exato por problema contra uma linha de base agrupada, executado sob controle de taxa de falsa descoberta. Aplicado a replicatas retidas, não detecta nada—a resposta correta quando o modelo não mudou. Permanece estável em mudanças de correção de múltiplos testes, taxa de erro e tamanho do pool. Uma estatística que muda com limites de FDR não está medindo capacidade.

Com um nulo credível em lugar, a comparação destilação-versus-auto-treinamento se torna clara. A destilação externa move problemas que o modelo base raramente alcança; três formas de auto-treinamento não. Uma regressão testando se essa assimetria reflete algo estrutural sobre auto-treinamento rejeita o nulo em p < 10⁻⁸, mas a direção contradiz defensores do auto-treinamento. A assimetria resulta do ganho geral maior da destilação, não evidência de orientação de espaço de problema diferente. Em problemas que o modelo base nunca alcança, a evidência é inconclusiva.

A conclusão de corrupção exige ação imediata para equipes executando auto-treinamento iterativo. Auto-treinamento degrada problemas que o modelo base resolve na linha de base, em taxas acima do ruído medido. Equipes rastreando acurácia agregada perdem isso—um novo ganho em um problema compensa numericamente uma regressão em outro lugar. Auditoria em nível de transição expõe a regressão; auditoria de acurácia média a oculta.

A restrição prática: construir um nulo válido exige replicatas de linha de base—múltiplas passagens de avaliação no modelo não-modificado, executadas sob condições idênticas aos braços treinados. A maioria dos estudos multi-braço tem dados suficientes para construir esse nulo sem novos experimentos. Poucos executam replicatas suficientes para fazê-lo de forma confiável.

A conclusão do arquiteto: antes de implantar qualquer pipeline de auto-treinamento, execute seu modelo base congelado através da pilha de avaliação completa pelo menos tantas vezes quanto cada braço treinado, e construa estatísticas de mudança de capacidade contra esse nulo medido—não contra zero assumido.