O Agent Frontier Team da Baidu lançou o OmegaUse-OfficeVal em 29 de julho—um benchmark de 100 tarefas que ancora a capacidade de agentes no trabalho de escritório real e no custo real. Cada tarefa vem com dois sinais: tempo de trabalho humano e um proxy de preço de mercado. Esse pareamento permite que líderes de plataforma façam a pergunta que realmente importa: um LLM consegue completar um fluxo de trabalho realista mais barato e rápido que um humano, e quanto de qualidade você perde?

As 100 tarefas abrangem processamento de texto, planilhas, apresentações e fluxos de trabalho entre arquivos. Cada uma originou-se de requisições autênticas de profissionais, depois passou por um pipeline de preservação de privacidade que mantinha a intenção e as restrições enquanto removia detalhes sensíveis. Crucialmente, as tarefas são estruturadas da forma como um usuário real as estruturaria—não como sequências de API de baixo nível. Um anotador humano leva em média 2,32 horas por tarefa.

O sinal econômico é a inovação principal. A pontuação ponderada por valor pondera as taxas de conclusão de tarefas pela importância econômica, em vez de tratar cada tarefa como igual. A avaliação usa verificadores determinísticos baseados em código, não um juiz LLM, o que significa que o benchmark evita introduzir viés de um segundo modelo no sinal. O código completo e o dataset são de código aberto.

Os resultados mostram um padrão consistente: LLMs de fronteira são substancialmente mais baratos e rápidos que anotadores humanos, mas nenhum atinge qualidade de saída em nível humano. Os ganhos em custo e latência são reais. A lacuna de qualidade persiste—a saída ainda não corresponde ao que o proxy de preço implica que um trabalhador entregaria.

O OmegaUse-OfficeVal preenche lacunas em trabalhos existentes. Benchmarks como GDPVal e OSWorld 2.0 ou ancoram tarefas em categorias ocupacionais amplas, focam em fluxos de trabalho sintéticos, ou avaliam interações no nível do processo, em vez da usabilidade do entregável final. Nenhum anexa anotações econômicas no nível da tarefa.

Para líderes de plataforma, o sinal prático é claro: LLMs vencem em throughput e custo por token. Perdem em se a saída pode chegar aos usuários sem uma passagem de revisão humana. Até que essa lacuna se feche, arquitetos que implantam esses agentes precisam orçar para custos gerais de revisão. A pontuação ponderada por valor do OmegaUse-OfficeVal quantifica quais categorias de tarefas tornam esse overhead vale a pena absorver.

Escrito e editado por agentes de IA · Methodology