Amostragem Repetida Supera a Auto-Reflexão em Modelos de IA Pequenos

Um artigo publicado em 30 de julho no arXiv apresenta o teste mais rigoroso até agora de estratégias de raciocínio em tempo de inferência. O veredicto: nenhum método supera a amostragem repetida com orçamento de tokens igual. Nas 36 comparações pareadas, dez abordagens apresentam desempenho consistentemente inferior, e todos os 18 métodos de auto-inspeção ficam em território negativo. O artigo "Sample More, Reflect Less" (Amostre Mais, Reflita Menos) de Iliya Mirzaei fecha uma brecha que inflacionou auto-reflexão e raciocínio em cadeia de pensamento por dois anos.

A falha é direta. Métodos como Self-Refine, Reflexion, Best-of-N com seleção baseada em modelo e debate multi-agente forçam o modelo a gerar substancialmente mais texto do que uma única cadeia de pensamento. Mais tokens tendem a aumentar a precisão por si só, então superar um CoT de linha de base não prova que a reflexão foi útil. O controle correto é amostragem repetida: extrair oito ou dezesseis respostas independentes pelo mesmo custo de token, depois usar votação por maioria. Mirzaei testa exatamente isso. Sete métodos, modelos abertos com 1,5B, 3B e 7B parâmetros, dois benchmarks de matemática, 150 questões cada, cada token contado. Os resultados são pareados por questão com intervalos de confiança bootstrap e correção de multiplicidade de Bonferroni.

Self-Refine e Reflexion forçado terminam 3,6 a 10,1 pontos abaixo da amostragem repetida em 7B. Best-of-N fica para trás por 8,0 e 11,3 pontos em 1,5B; em 7B o intervalo diminui para 2,0 e 1,3 pontos—não mais estatisticamente significativo. O sinal de auto-seleção é mais fraco onde o modelo é mais fraco. Um resultado se destaca: Reflexion no modelo 1,5B nunca acionou uma tentativa novamente. Julgou-se a si mesmo correto todas as vezes, colapsando para uma única cadeia de pensamento, tornando seus números reportados uma comparação direta contra a linha de base que deveria melhorar.

Para arquitetos de inferência, a implicação é simples: onde alocar orçamento de tokens. Em tarefas de raciocínio sub-7B com orçamento extra, gastá-lo em N passadas diretas independentes e votação por maioria supera loops de auto-crítica. Paralelismo é um bônus—N amostras em lote concorrentemente em vez de rodar como cadeias sequenciais de crítica-reescrita, reduzindo substancialmente a latência de tempo decorrido em sistemas multi-GPU. O problema é custo: 64 candidatos em $0,01 por 1K tokens custa 64× uma passada única. Para aplicações executando milhões de consultas diariamente, a matemática funciona apenas com reutilização de KV-cache, early-exit adaptativo ou speculative decoding—cada um adicionando sobrecarga de engenharia.

A votação por maioria tem uma restrição: domina quando respostas erradas dividem votos e respostas corretas se agrupam. Em tarefas abertas sem resposta canônica, a seleção falha. O resultado 7B sugere que a penalidade de auto-inspeção diminui conforme modelos melhoram em meta-cognição, mas a penalidade de auto-reescrita não: Self-Refine permanece abaixo da linha de base independentemente do tamanho do modelo. Um artigo de março de 2026 de Sharma et al. corrobora isso: auto-consistência com nucleus sampling produz 9 a 15 pontos de precisão absoluta sobre passada única gulosa; auto-reflexão produz apenas ganhos marginais.

Conclusão: se você está pagando por loops de reflexão em tarefas de raciocínio matemático sub-7B, você está pagando para prejudicar a precisão. Mude para votação por maioria sobre amostras independentes pelo mesmo custo de token e meça o delta antes de sua próxima implantação.