Los jueces LLM revierten el 85% de los veredictos con respuestas de referencia

Los jueces LLM revierten hasta el 85% de sus veredictos sobre respuestas de cierre abierto cuando se añade una respuesta de referencia al prompt, según la investigación de la Universidad de Potsdam y el Consejo Nacional de Investigaciones de Canadá. Esto indica que las evaluaciones sin referencia están inflando sistemáticamente las puntuaciones de corrección.

En un estudio de calibración y sensibilidad de dos etapas en tres idiomas, Kranti y Vajjala definieron tres condiciones de evaluación: NR (sin referencia), RV (referencia visible) y RC (comparación de referencia). En la condición sin referencia, el modelo juez, que confiaba únicamente en su conocimiento paramétrico, a menudo marcaba tanto respuestas correctas como incorrectas de los candidatos como correctas. Al introducir la respuesta de referencia en el prompt, ya sea para visibilidad o comparación explícita, se motiva al juez a cambiar la respuesta incorreta a su calificación adecuada de fracaso. La referencia añadida hace que el juez sea más estricto, y una comparación con las anotaciones humanas muestra que la dirección más estricta generalmente se alinea con el juicio humano. Sin el anclaje, el juez da crédito excesivo a respuestas incorrectas.

Este hallazgo se suma a un creciente inventario de modos de fallo específicos del juez. Un estudio separado del Grupo Ant en sesgo de puntuación en pruebas de LLM-como-juez prueba múltiples modelos de jueces de vanguardia, identificando sesgo de orden de rúbricas, sesgo de identificación de puntuación y sesgo de puntuación de respuesta de referencia como distorsiones a nivel de prompt que cambian los veredictos incluso cuando la respuesta del candidato no cambia. Dongryeol Lee et al. (arXiv:2601.07506) amplifican la preocupación al mostrar que los jueces pueden ignorar por completo una referencia proporcionada cuando entra en conflicto con su conocimiento paramétrico. Estos artículos indican que el juez no es un árbitro neutral, sino un modelo con sus propias prioridades, sensibilidades a los prompts y lagunas de conocimiento.

Ningún estudio proporciona evidencia de despliegue en producción; no se informan costos de inferencia, latencias o benchmarks de rendimiento para pipelines de evaluación basados en jueces a gran escala. Los números operativos importantes aquí son las métricas de confiabilidad: el 85% de tasa de volteo en el estudio principal y las preferencias paralelas similares al ~35% señaladas en trabajos relacionados por Tripathi et al. 2025; características de distracción incrustadas en el generador, como la assertividad o la sifosis, hacen que los jueces paralelos cambien preferencias mientras que los jueces puntuales solo cambian un ~9%. Para un arquitecto que realiza evaluaciones nocturnas en las salidas de cierre abierto de un producto, esto significa que un juez sin referencia podría estar informando tasas de corrección que se derrumban una vez que se introduce una referencia, y el sesgo es lo suficientemente consistente como para parecer una tendencia en lugar de ruido. Un resumen de prácticas en Tel Channel hace el punto directamente: los equipos se optimizan en contra de estas puntuaciones sesgadas, mejorando métricas que no reflejan la calidad real, mientras que tratan la deriva como una ganancia de rendimiento real.

Lo que hace que esto sea especialmente costoso es que a menudo se adopta la evaluación sin referencia para evitar la latencia y los costos de la anotación humana o la sobrecarga de ingeniería de evaluaciones basadas en código. La propuesta del artículo para mitigar es un experimento de calibración previo al despliegue: pruebe al juez en una muestra retenida que incluye respuestas de referencia para descubrir qué tareas, idiomas o dominios el juez puede evaluar sin un anclaje. Esto requiere mantener un banco de referencias, reintroduciendo el cuello de botella de anotación que el juez estaba destinado a reemplazar. Los arquitectos también deberían auditar los artefactos del prompt: orden de rúbricas, etiquetas de puntuación y colocación de referencia, porque el trabajo del Grupo Ant muestra que estos movilizan puntuaciones en todos los modelos probados.

No hay evidencia de producción aún para mitigaciones automatizadas, y la pregunta abierta es si algún modelo de juez único puede ser de confianza como un oráculo sin referencia en cargas de trabajo multilingües y multidominios sin calibración humana continua.

Un arquitecto debe tratar cada puntuación de juez LLM sin referencia como un límite superior sin calibrar y forzar que demuestre su estrictitud contra un conjunto de referencias retenido antes de permitir que controle una entrega.