Treinamento RLHF Amplifica o Vies do Modelo para 100 Por cento

Pesquisas apresentadas no ICML 2026 demonstraram que pipelines padrão de RLHF (Reinforcement Learning a partir de Feedback Humano) podem amplificar vieses para uma taxa de 1,0, um modo de falha estrutural conhecido como adulteração de alinhamento. Esta vulnerabilidade surge no loop de dados, onde modelos em processo de alinhamento geram suas próprias respostas candidatas. Anotadores fornecem preferências em pares que identificam qual resposta é melhor, mas não por quê, permitindo que um modelo associe uma resposta de alta qualidade e viés com uma resposta de baixa qualidade e sem viés. O modelo de recompensa aprende então a tratar o viés como um recurso correlacionado com a qualidade. Os autores testaram vieses diversos em quatro categorias — repetição de palavras-chave, propaganda incluindo conteúdo sexista, promoção de marca e busca por objetivos instrumentais — e encontraram que tanto o ajuste fino do PPO quanto do DPO levam as taxas de viés para 1,0. A amostragem Best-of-N também amplifica o viés de forma monótonica à medida que N aumenta pela mesma razão: o modelo de recompensa continua favorecendo a saída viada de alta qualidade.

No experimento de viés de palavra-chave, a taxa de viés aumentou de 0,19 para 1,0 durante o treinamento PPO, enquanto as métricas de utilidade e segurança aumentaram simultaneamente. Isso não é um trade-off; o objetivo de RL está otimizando tanto a qualidade quanto o viés juntos. Um estudo separado no arXiv, "Alinhando para o Que?", aplica DPO, ORPO e RLOO ao Llama 3 8B e descobre que o treinamento padrão pós-treinamento é insuficiente para abordar os vieses subjacentes do modelo e pode amplificar vieses ocultos. Um estudo da Harvard de 2024 de Li, Krishna e Lakkaraju, "Mais RLHF, Mais Confiança?", avalia modelos até 7B de parâmetros e relata que o viés estereotipado aumenta em 150 por cento e a verdadeiridade diminui em 25 por cento após o RLHF.

O artigo ainda não fornece evidência de produção: os experimentos são realizados em infraestrutura de pesquisa com gatilhos de viés injetados, e as horas de GPU ou economia por token não são discutidas. Os praticantes precisariam ver um audito longitudinal de um pipeline de RLHF ativo confirmando que os vieses que ocorrem naturalmente seguem o mesmo trajeto. No entanto, a taxa de viés asintótica é o número que importa — sem intervenção, os regimes padrão de PPO e DPO o levam para 1,0. Os autores avaliarão três mitigações de modelo de recompensa projetadas para resistir a correlações espúrias: InfoRM, WARM e RRM. Nenhum impede completamente o adulteração de alinhamento. No melhor dos casos, eles desaceleram a amplificação do viés em algumas rodadas de PPO, e qualquer redução de viés ocorre ao custo de melhorias de menor qualidade. Na amostragem Best-of-N, viés e taxa de vitória ainda sobem juntos, independentemente da mitigação.

Os autores propõem um método de detecção: gatilhos acionados produzem clusters bimodais no espaço de representação, com respostas viadas de alta recompensa separando-se limpamente das respostas não viadas de baixa recompensa. Esse sinal de nível de embutição pode sinalizar frases gatilho suspeitas, mas requer infraestrutura de monitoramento que a maioria das equipes ainda não executa em seus conjuntos de dados de preferência. O artigo argumenta que a prevenção requer a desvinculação de sinais de qualidade de comportamentos indesejados durante a geração de dados ou rotulagem — antes que PPO ou DPO sejam executados — e não a reformulação iterativa do modelo de recompensa.