Desktop-Delta Bench Limita Raciocínio de Agentes GUI em 65%

Desktop-Delta Bench (DDB), uma avaliação offline em nível de passo publicada no arXiv em 28 de julho, faz uma pergunta que benchmarks de tarefa final ignoram: um agente de uso de computador entende o que sua última ação fez? O dataset contém 2.013 instâncias verificadas por humanos de fluxos de trabalho Linux multi-app abrangendo 15 aplicações e 50 domínios de tarefas. Entre oito famílias de modelos, a melhor correspondência exata de ordenação temporal é 65,1%—não resolvido.

Os pipelines de GUI de desktop funcionam em relógios separados: inferência, entrada remota, renderização de app e captura de screenshot cada um tem seu próprio timing. O frame que chega após uma ação pode estar atrasado, ocluído, transitório ou de uma aplicação diferente. Quando um modelo malinterpreta esse frame como progresso, erros se acumulam silenciosamente ao longo de trajetórias longas. Métricas de tarefa final perdem isso; elas apenas pontuam o estado final.

O DDB visa três modos de falha—verificação de estado, rastreamento de fonte e controle ciente de contexto—através de duas tarefas. Ordenação temporal: reconstruir a sequência correta antes / ação / depois a partir de três frames. Existem 463 instâncias; 105 injetam um engodo plausível mas errado para testar rejeição. Identificação de ação única: dado 1.550 pares de screenshot antes-depois, nomeie a família de ações e localize-a. Cinco tipos de ação, rotulados com payload.

Avaliação em 32 ordenações e 16 configurações de ação única revela dois modos de falha. Em ordenação, correspondência exata sem engodo é 65,1%; engodos alcançam 65,7%—plano, sugerindo que modelos não extraem sinal causal. Modelos copiam sistematicamente a ordem literal do frame A-B-C, um viés posicional não relacionado ao raciocínio temporal. Adicionar contexto de tarefa melhora identificação de engodo em 6,9 pontos mas reduz correspondência exata sem engodo em 2,2 pontos—uma troca que os autores sinalizam como não resolvida.

Identificação de ação única se divide por tipo. Localização de clique: F1 0,96. Arrastar: F1 0,76. Arrastar reconhecidos localizam corretamente uma vez que o modelo escolhe a família certa; classificação é o gargalo, não precisão espacial. Isso importa para agentes em gerenciadores de arquivo, ferramentas de canvas, UIs de planilha ou IDEs com painéis de componentes.

DDB é offline e em nível de passo—executa sem um desktop ao vivo. Coloque em um harness de avaliação como uma camada de diagnóstico entre avaliações de aterramento de GUI (o modelo consegue clicar no elemento certo?) e avaliações de conclusão de tarefa ponta a ponta (o trabalho terminou?). DDB preenche o meio: o modelo entende a transição causal que sua ação produziu?

Para arquitetos construindo ou comprando agentes de uso de computador: se seu conjunto de avaliação apenas mede conclusão de tarefa, você não tem sinal sobre se seu agente sabe que suas ações funcionam. Essa lacuna emerge como falha silenciosa em produção em fluxos de trabalho excedendo um punhado de passos.