Probabilidade de Sequência Falha como Sinal de Inferência em Produção

Um artigo de Johannes Zenn e Jonas Geiping do Max Planck Institute for Intelligent Systems, publicado em 25 de junho de 2026, desafia uma suposição fundamental na inferência de produção: que maior probabilidade de sequência prediz correção. Testando 14 modelos, 88 métodos de decodificação e 6 benchmarks, eles encontram que a relação se sustenta apenas em configurações controladas de laboratório e falha onde os praticantes realmente a utilizam.

Dentro de um único conjunto de dados, o padrão é claro: respostas de alta probabilidade estão corretas com mais frequência. Mas essa correlação varia por família de modelos, não por método de decodificação, e não pode ser usada no momento da inferência.

Falhas ocorrem em três lugares. Primeiro, dentro de um único método de decodificação: mudanças de hiperparâmetros que aumentam a probabilidade (temperatura mais baixa, top-p mais restrito, top-k ajustado) não aumentam a precisão. Segundo, entre métodos: o método de maior probabilidade não é consistentemente o mais preciso. Best-of-N, beam search e power sampling todos reivindicam a região de alta probabilidade; nenhum vence de forma confiável. Terceiro, dentro da amostra: para múltiplas amostragens do mesmo prompt, a resposta com maior log-probabilidade não é mais provavelmente correta do que qualquer outra.

Isso quebra o reranking de best-of-N baseado em probabilidade, padrão em pipelines de produção. Uma exceção: modelos já altamente precisos em uma tarefa mostram correlação dentro da amostra. As falhas se concentram em regimes de precisão intermediária onde a lógica de fallback e roteamento importa mais.

O roteamento com gate de confiança também falha. Quando um sistema escala para um modelo mais custoso ou um humano porque o primário marca abaixo de um limiar de log-probabilidade, ele separa por comprimento, formato ou artefatos de tokenização, não por confiança. Log-probabilidade no nível de sequência é um sinal fraco de confiança em tempo de execução.

Votação por auto-consistência funciona e não é afetada. Votação por maioria requer que respostas corretas se aglomerem, não que respostas individuais tenham alta probabilidade. O que quebra é a probabilidade como critério de seleção: escolher uma resposta entre candidatos, decidir quando parar a geração ou rotear entre modelos.

A falha é estrutural. Modelos alinhados por RLHF emitem confiança de 80–100% em domínios tanto fortes quanto ignorantes, desacoplando confiança declarada de estado epistêmico. Probabilidade de sequência mostra o mesmo colapso dentro da amostra. Dois mecanismos reforçam: alinhamento degrada calibração verbalizada; desajuste entre probabilidade e correção degrada calibração implícita.

Recomendação: abandone log-probabilidade de sequência como sinal de correção em tempo de execução. Use-a apenas para medir dificuldade cross-prompt em eval. Substitua reranking de produção e limites de roteamento com um verificador treinado ou modelo de recompensa externo validado em sua distribuição de tarefas.