Desktop-Delta Bench Limita el Razonamiento de Agentes GUI al 65%

Desktop-Delta Bench (DDB), una evaluación offline a nivel de paso publicada en arXiv el 28 de julio, plantea una pregunta que los benchmarks de tarea final omiten: ¿entiende un agente de uso de computadora qué hizo su última acción? El conjunto de datos contiene 2.013 instancias verificadas por humanos de flujos de trabajo Linux multi-aplicación que abarcan 15 aplicaciones y 50 dominios de tareas. Entre ocho familias de modelos, la mejor coincidencia exacta de ordenamiento temporal es 65,1%—sin resolver.

Los pipelines de GUI de escritorio funcionan en relojes separados: inferencia, entrada remota, renderización de aplicación y captura de pantalla cada uno tiene su propio tiempo. El fotograma que llega después de una acción puede estar retrasado, ocluido, transitorio o de una aplicación diferente. Cuando un modelo malinterpreta ese fotograma como progreso, los errores se acumulan silenciosamente a lo largo de trayectorias largas. Las métricas de tarea final no lo capturan; solo puntúan el estado final.

DDB apunta a tres modos de fallo—verificación de estado, rastreo de origen y control consciente del contexto—a través de dos tareas. Ordenamiento temporal: reconstruir la secuencia correcta antes / acción / después a partir de tres fotogramas. Existen 463 instancias; 105 inyectan un señuelo plausible pero incorrecto para probar el rechazo. Identificación de acción única: dados 1.550 pares de capturas de pantalla antes-después, nombre la familia de acciones y localícela. Cinco tipos de acción, etiquetados con payload.

La evaluación en 32 ordenamientos y 16 configuraciones de acción única revela dos modos de fallo. En ordenamiento, la coincidencia exacta sin señuelo es 65,1%; los señuelos alcanzan 65,7%—plano, lo que sugiere que los modelos no extraen señal causal. Los modelos copian sistemáticamente el orden literal del fotograma A-B-C, un sesgo posicional no relacionado con el razonamiento temporal. Agregar contexto de tarea mejora la identificación de señuelo en 6,9 puntos pero reduce la coincidencia exacta sin señuelo en 2,2 puntos—un trueque que los autores señalan como sin resolver.

La identificación de acción única se divide por tipo. Localización de clic: F1 0,96. Arrastrar: F1 0,76. Los arrastres reconocidos se localizan correctamente una vez que el modelo elige la familia correcta; la clasificación es el cuello de botella, no la precisión espacial. Eso importa para agentes en administradores de archivos, herramientas de lienzo, UIs de hojas de cálculo o IDEs con paneles de componentes.

DDB es offline y a nivel de paso—se ejecuta sin un escritorio en vivo. Colóquelo en un arnés de evaluación como una capa de diagnóstico entre evaluaciones de anclaje de GUI (¿puede el modelo hacer clic en el elemento correcto?) y evaluaciones de finalización de tarea de extremo a extremo (¿se completó el trabajo?). DDB llena el medio: ¿entiende el modelo la transición causal que su acción produjo?

Para arquitectos que construyen o compran agentes de uso de computadora: si su conjunto de evaluación solo mide la finalización de tareas, no tiene señal sobre si su agente sabe que sus acciones funcionan. Esa brecha surge como un fallo silencioso en producción en flujos de trabajo que exceden un puñado de pasos.