Correcciones a Nivel de Activación Sobrepasan las Ediciones de Prompts para Jueces LLM Prejuiciosos

Un estudio sobre interpretabilidad mecanística ha identificado sesgos en grandes modelos de lenguaje (LLM) al mapear nueve puntos de referencia a través de siete jueces LLM a subespacios específicos de estado oculto en la capa 25. Los sesgos, que incluyen posicional, longitud y formato, se limitan a solo tres a cinco direcciones efectivas por tipo de sesgo. Este descubrimiento permite predecir el fracaso del juez con una AUC de 0.82 y una defensa a nivel de activación que supera la reescritura de prompts en un rango de cuatro a seis veces.

El documento de arXiv 'Inside the Unfair Judge' de Xu et al., llevado a cabo dentro de Llama-3.1-8B, Qwen3-14B y Gemma-3-12B, trata el sesgo del juez como un problema a nivel de representación en lugar de uno de entrada-salida. Utilizando estimadores de cambio direccional como el mediano geométrico y el componente PCA superior, junto con métodos de frontera discriminativa como LDA y SVM lineal, los investigadores descubrieron que las entradas de juicio de línea base ocupan una variedad de activación ajustada, mientras que las entradas sesgadas se desplazan a lo largo de un subespacio de baja dimensión, específico por tipo, que se vuelve más linealmente separable con la profundidad. El desplazamiento se codifica en dirección, no magnitud, con normas L2 entre activaciones sesgadas y limpias estadísticamente indistinguibles en todas las capas excepto la cabeza de lectura de puntuación final, donde p > 0.1.

La causalidad se confirma a través de la dirección de activación. Inyectar la dirección de sesgo recuperada en estados ocultos limpios reproduce la puntuación sesgada y eliminarla de estados sesgados restaura las puntuaciones de línea base. Direcciones aleatorias con norma coincidente producen cambios significativamente más pequeños, y controles de intercambio de tipo de sesgo se sitúan entre los efectos aleatorios y dentro del tipo, descartando explicaciones genéricas de perturbación o cabeza de lectura. Una defensa de activación que proyecta fuera del subespacio de sesgo mantiene al menos el 80 por ciento de su efecto en muestras retenidas y supera las líneas base de reescritura de texto en aproximadamente cuatro a seis veces.

Una sonda lineal entrenada en estas características de dirección de sesgo predice la degradación del juez en tres puntos de referencia completamente no vistos con una AUC de 0.82, significativamente por encima de los aproximadamente 0.63 logrados por alternativas basadas en texto. El documento resalta una asimetría de comportamiento en las tuberías de evaluación automatizada: señales superficiales negativas, como la mala posición o el pobre formato, infligen grandes penalizaciones de puntuación, mientras que la mayoría de las señales positivas se acumulan cerca de cero. El único desviación inflacionaria clara es una afirmación de 'Refinamiento', que declara que la respuesta se revisó cuidadosamente, empujando las puntuaciones por encima de la media de línea base de aproximadamente 5.84 en Llama-3.1-8B.

Las restricciones son inmediatas y relevantes para el despliegue. El método requiere acceso de caja blanca a los estados ocultos, excluyendo jueces de solo API como GPT-4. Para equipos que alojan sus propias ponderaciones, la intervención en la capa 25 demanda ganchos de inferencia personalizados que actualmente no están expuestos por pilas de servicio mainstream. Los autores también dejan abierta la cuestión de si los tipos de sesgo fuera de los siete estudiados ocupan los mismos subespacios o generan unos nuevos, una brecha de generalización que importa para el monitoreo de ataques de evaluación adversarial.

No se informan métricas de producción, por lo que traten los hallazgos como un patrón de mitigación de caja blanca esperando integración. Para aquellos con propiedad de la pila de inferencia, sondean los estados ocultos de la capa 25 para la dirección de sesgo de 3-5 dimensiones y proyecten fuera antes de la cabeza de puntuación, ya que limpiar solo el prompt deja una orden de magnitud más de varianza en el veredicto que una defensa a nivel de activación.