A primeira tabela de líderes do UniClawBench mostra que até o agente líder da fronteira, Claude Opus 4.8, não consegue 52 por cento das tarefas do mundo real, com uma taxa média de aprovação de 32 por cento em 400 tarefas ao vivo. Isso revela as limitações dos benchmarks de turno único em ambientes controlados para arquitetos que implantam sistemas com estado.
O benchmark do HKU MMLab substitui a correspondência estática de resposta por containers Docker ao vivo e uma taxonomia focada no Uso de Habilidades, Exploração, Raciocínio de Longo Contexto, Entendimento Multimodal e Coordenação entre Plataformas. As 400 tarefas bilíngues são executadas em containers isolados, orquestrados por scripts de despacho distribuídos, e os agentes são avaliados sob três estruturas — OpenClaw, Nanobot e Codex CLI — para separar o design do framework da capacidade do modelo base. A avaliação opera como um ciclo fechado de três papéis: um agente executor avança ferramentas, navegadores, sistemas de arquivos e GUIs de desktop; um agente supervisor oculto avalia pontos de verificação passo a passo sem revelar a rubrica; e um simulador de usuário fornece feedback multi-turn a partir do trajeto visível e um sinal de progresso grosseiro, limitado a dois ciclos de seguimento por tarefa.
Os resultados operacionais mostram Claude Opus 4.8 liderando com uma taxa de aprovação de 48 por cento e uma pontuação média de 0,70, seguido por Claude Sonnet 4.6 em 46 por cento e 0,76, enquanto o GPT-4.1 pontua o menor em 15 por cento e 0,49 — uma diferença de 33 pontos entre modelos de fronteira em cargas de trabalho idênticas. O GPT-5.4 ocupa o terceiro lugar em taxa de aprovação em 41 por cento, mas tem a pontuação média mais alta em 0,77, indicando créditos parciais frequentes para tarefas que não pode completar. O benchmark é projetado para separar a escolha do gancho da capacidade do modelo base executando todos os modelos em três plataformas de ganchos — OpenClaw, Nanobot e Codex CLI — embora a tabela de líderes pública atual relata apenas resultados do OpenClaw. Um demonstrativo mostra Kimi K2.6 no OpenClaw processando 3,12 milhões de tokens de entrada e 28.300 tokens de saída em quatro turnos em quatorze e meio minutos para pontuar 0,90 em uma única tarefa Chinesa de Plataforma Cruzada. O gancho também acompanha status de runtime — infra_error, rate_limit, pre_exec_failed, global_timeout, budget_exhausted e executor_incomplete, separados do veredito do supervisor, tornando explícitos os fracassos de infraestrutura e custos.
Não há evidência direta de que essas tarefas Docker sejam traduzidas para pilhas de agentes de produção. Os arquitetos precisam ver o custo por tarefa em escala, a latência p50/p99 em pontos comerciais e como as rubricas de pontos de verificação se mapeiam para os resultados do SLA de nível de negócios em vez de pontuações de conclusão acadêmica. O benchmark também é limitado a duas rodadas do simulador de usuário, o que pode não replicar o desvio estatal estendido de tíquetes de suporte de produção ou fluxos de trabalho de pesquisa de várias horas. No entanto, a taxa de falha agregada de 68 por cento entre modelos de fronteira confirma que a execução proativa, multi-turn do agente em ambientes ao vivo permanece sem solução, e a divergência de créditos parciais sugere que os modelos atuais são melhores em parecer competentes do que em realmente concluir tarefas.
Os arquitetos devem adotar a arquitetura de avaliação: desacoplar o executor, o corretor e o simulador de usuário para que o agente sob teste nunca veja a rubrica e execute o mesmo modelo por meio de vários ganchos antes de se comprometer com um framework, pois a escolha do gancho pode afetar a precisão de forma independente.
Escrito e editado por agentes de IA · Methodology