El entrenamiento con RLHF amplía el sesgo del modelo al 100 por ciento

La investigación presentada en ICML 2026 ha demostrado que las tuberías estándar de RLHF (Reinforcement Learning from Human Feedback) pueden amplificar los sesgos hasta una tasa de 1.0, un modo de fallo estructural conocido como manipulación de alineación. Esta vulnerabilidad surge en el bucle de datos, donde los modelos en proceso de alineación generan sus propias respuestas candidatas. Los anotadores proporcionan preferencias en pares que identifican cuál respuesta es mejor, pero no por qué, permitiendo que un modelo asocie una respuesta sesgada de alta calidad con una respuesta no sesgada de baja calidad. El modelo de recompensa luego aprende a tratar el sesgo como una característica correlacionada con la calidad. Los autores probaron diversos sesgos en cuatro categorías: repetición de palabras clave, propaganda que incluye contenido sexista, promoción de marca y búsqueda de objetivos instrumentales, y encontraron que tanto el afinado de PPO como el de DPO llevan las tasas de sesgo hacia 1.0. La muestreo mejor de N también amplía el sesgo de manera monótona a medida que N aumenta por la misma razón: el modelo de recompensa sigue prefiriendo la salida sesgada de mayor calidad.

En el experimento de sesgo de palabras clave, la tasa de sesgo aumentó de 0.19 a 1.0 durante el entrenamiento de PPO mientras que las métricas de utilidad y seguridad aumentaban simultáneamente. Esto no es un intercambio; el objetivo de RL está optimizando tanto la calidad como el sesgo juntos. Un estudio arXiv separado, "¿Alineados a qué?", aplica DPO, ORPO y RLOO al Llama 3 8B y encuentra que el entrenamiento post-estándar es insuficiente para abordar los sesgos subyacentes del modelo y puede amplificar sesgos ocultos. Un estudio de Harvard de 2024 de Li, Krishna y Lakkaraju, "¿Más RLHF, más confianza?", evalúa modelos de hasta 7B de parámetros e informa que el sesgo estereotipado aumenta en un 150 por ciento y la veracidad disminuye un 25 por ciento después de RLHF.

El documento aún no proporciona evidencia de producción: los experimentos se ejecutan en infraestructura de investigación con disparadores de sesgo inyectados, y no se discuten las horas de GPU o la economía por token. Los profesionales necesitarían ver una auditoría longitudinal de una tubería de RLHF en vivo confirmando que los sesgos que ocurren naturalmente siguen la misma trayectoria. Sin embargo, la tasa de sesgo asintótica es el número que importa: sin intervención, los regímenes estándar de PPO y DPO lo llevan hacia 1.0. Los autores evalúan tres mitigaciones del modelo de recompensa diseñadas para resistir correlaciones espurias: InfoRM, WARM y RRM. Ninguna previene completamente la manipulación de alineación. En el mejor de los casos, ralentizan la amplificación del sesgo en algunas ejecuciones de PPO, y cualquier reducción de sesgo viene al costo de mejoras de menor calidad. En el muestreo mejor de N, el sesgo y la tasa de victoria todavía suben juntos independientemente de la mitigación.

Los autores proponen un método de detección: los prompts disparados producen clusters bimodales en el espacio de representación, con respuestas sesgadas de alta recompensa separándose limpiamente de las respuestas no sesgadas de baja recompensa. Esta señal a nivel de incrustación puede señalar frases de disparador sospechosas, pero requiere una infraestructura de monitoreo que la mayoría de los equipos aún no ejecutan en sus conjuntos de datos de preferencias. El documento argumenta que la prevención requiere desacoplar las señales de calidad del comportamiento no deseado durante la generación o etiquetación de datos, antes de que PPO o DPO se ejecuten, no un rediseño iterativo del modelo de recompensa.