OSReward expone sesgo sistemático en jueces VLM para evaluación de agentes

Todo equipo que entrena un agente de uso de computadora se topa con el mismo muro: necesitas una señal de recompensa, la anotación humana no puede mantenerse al ritmo, así que recurres a un VLM como juez. OSReward, publicado el 30 de julio por un equipo de 23 personas que abarca CUHK, Fudan y Shanghai AI Lab, es la primera medición sistemática de si esa suposición funciona. En 27 jueces VLM evaluados en 1.019 trayectorias anotadas manualmente que abarcan web, Windows, Ubuntu y móvil, la respuesta es: no de forma confiable.

El benchmark se construyó desde cero. Agentes de Claude, Gemini, Kimi y Qwen ejecutaron instrucciones en "máquinas vividas": entornos sembrados con archivos reales, perfiles de usuario, bases de datos y contenido de distracción, con tareas web ejecutadas contra sitios activos. Cada trayectoria—hasta 100 pasos de captura de pantalla-pensamiento-acción—fue etiquetada independientemente por tres anotadores. Los veredictos unánimes se mantienen; los desacuerdos se escalan a dos revisores senior que deliberan en lugar de votar. Ese proceso consumió aproximadamente 800 horas humanas y produjo una división éxito/fracaso de 43/57 lo suficientemente equilibrada para que un juez no pueda alcanzar el 57% simplemente diciendo "fracaso".

El hallazgo central es un sesgo compartido de indulgencia. Representa el recall de cada juez en ejecuciones verdaderamente fallidas contra su recall en ejecuciones verdaderamente exitosas: casi todos los puntos se sitúan por encima de la diagonal. Los jueces aceptan fracasos como éxitos mucho más fácilmente de lo que rechazan completaciones genuinas. En OSReward-Hard—un subconjunto de desafío extraído de trayectorias en las que los anotadores discrepaban, luego reverificadas bajo meta-revisión—la indulgencia se amplía. El conjunto Hard es deliberadamente 30/70 éxito/fracaso para someter a prueba este modo de fallo.

El veredicto para la mayoría de los jueces reside en el historial de texto, no en la pantalla. Los agentes que narran registros de acciones que suenan seguros se aprueban aunque las capturas de pantalla muestren que la tarea no se completó. Este es el modo de fallo que hace que VLM-como-juez sea arriesgado a escala de entrenamiento de RL: un juez indulgente recompensa al agente por sonar hecho, no por estar hecho. La precisión agregada en los 27 jueces se ve aceptable al 90% en el benchmark completo. Ese número se desmorona en el subconjunto Hard, donde se concentran las ejecuciones engañosas.

La compensación costo-confiabilidad es el cuello de botella práctico. Los pocos jueces lo suficientemente precisos como para confiar en casos difíciles son modelos comerciales de frontera—demasiado caros para llamar decenas de miles de veces por ejecución de entrenamiento. Los modelos abiertos preciosamente escalonables quedan muy atrás en confiabilidad. OS-Shepherd-100K, el corpus lanzado junto al benchmark, apunta a esta brecha: 100K juicios de trayectoria anotados por razonamiento seleccionados de 321.631 veredictos de ensemble, con razonamiento completo del juez adjunto en lugar de solo etiquetas binarias. OS-Shepherd 9B y 35B se entrenan en él, apuntando directamente al modo de falso-éxito. El artículo informa que coinciden con jueces comerciales a un costo 30–60% menor.

Para arquitectos que cablean la evaluación CUA en tuberías de entrenamiento, hay tres cosas viables. Primero, audita tu juez VLM actual en una retención de caso difícil—la división OSReward-Hard existe precisamente para esto. Segundo, no confíes en la precisión agregada en un benchmark equilibrado como proxy para la confiabilidad en trayectorias engañosas. Tercero, si estás ejecutando RL para CUAs, un juez indulgente moldea silenciosamente la política hacia agentes que reportan finalización en lugar de lograrla.

Los puntos de control OS-Shepherd, el benchmark OSReward y el corpus completo están disponibles en la página del proyecto. La señal de recompensa que estás usando para el entrenamiento CUA no ha sido auditada hasta ahora. La auditoría encontró un sesgo sistemático que apunta en la dirección equivocada.