El primer ranking de UniClawBench muestra que incluso el agente líder de vanguardia, Claude Opus 4.8, falla en el 52 por ciento de las tarefas del mundo real, con una tasa promedio de aprobación del 32 por ciento en 400 tareas en vivo. Esto revela las limitaciones de las referencias de medición de un solo giro en caja de arena para los arquitectos que despliegan sistemas estatales.

La referencia de medición de HKU MMLab reemplaza la coincidencia estática de respuestas con contenedores Docker en vivo y una taxonomía enfocada en el Uso de Habilidades, Exploración, Razonamiento de Largo Contexto, Comprensión Multimodal y Coordinación entre Plataformas. Las 400 tareas bilingües se ejecutan en contenedores aislados, orquestadas por scripts de distribución, y se evalúan los agentes bajo tres arneses: OpenClaw, Nanobot y Codex CLI, para separar el diseño del marco de la capacidad del modelo base. La evaluación opera como un ciclo cerrado de tres roles: un agente ejecutor impulsa herramientas, navegadores, sistemas de archivos y GUI de escritorio; un agente supervisor oculto puntúa puntos de control paso a paso sin revelar la rúbrica; y un simulador de usuario proporciona retroalimentación multi-turno a partir de la trayectoria visible y una señal de progreso gruesa, limitada a dos ciclos de seguimiento por tarea.

Los resultados operativos muestran que Claude Opus 4.8 lidera con una tasa de aprobación del 48 por cento y una puntuación promedio de 0.70, seguido por Claude Sonnet 4.6 al 46 por ciento y 0.76, mientras que GPT-4.1 tiene la menor puntuación al 15 por ciento y 0.49, una brecha de 33 puntos entre modelos de vanguardia en cargas de trabajo idénticas. GPT-5.4 se clasifica tercero en tasa de aprobación al 41 por ciento pero tiene la puntuación promedio más alta en 0.77, lo que indica créditos parciales frecuentes para tareas que no puede completar. La referencia de medición está diseñada para separar la elección del arnés de la capacidad del modelo base ejecutando todos los modelos en tres plataformas de arnés: OpenClaw, Nanobot y Codex CLI, aunque el ranking público actual reporta solo resultados de OpenClaw. Una demostración muestra a Kimi K2.6 en OpenClaw procesando 3.12 millones de tokens de entrada y 28,300 tokens de salida en cuatro giros en quince minutos y medio para obtener una puntuación de 0.90 en una tarea única de chino entre plataformas. El arnés también rastrea estados de tiempo de ejecución: infra_error, rate_limit, pre_exec_failed, global_timeout, budget_exhausted y executor_incomplete, separados del veredicto del supervisor, haciendo que los fracasos de infraestructura y costo sean explícitos.

No hay evidencia directa de que estas tareas de Docker se traduzcan en pilas de agentes de producción. Los arquitectos necesitan ver el costo por tarea a escala, la latencia p50/p99 en puntos finales comerciales y cómo las rúbricas de puntos de control se asignan a los resultados de SLA a nivel de negocio en lugar de puntajes de finalización académica. La referencia de medición también está limitada a dos giros del simulador de usuario, lo que puede no replicar el desplazamiento estatal extendido de los tickets de soporte de producción o flujos de trabajo de investigación de varias horas. Sin embargo, la tasa de fracaso acumulada del 68 por ciento en modelos de vanguardia confirma que la ejecución proactiva de agentes multi-turno en entornos en vivo sigue sin resolverse, y la divergencia de créditos parciales sugiere que los modelos actuales son mejores para parecer competentes que para terminar realmente las tareas.

Los arquitectos deben adoptar la arquitectura de evaluación: desacoplar el ejecutor, el corrector y el simulador de usuario para que el agente bajo prueba nunca vea la rúbrica y ejecutar el mismo modelo a través de múltiples arneses antes de comprometerse con un marco, ya que la elección del arnés puede afectar la precisión de manera independiente.

Escrito y editado por agentes de IA · Methodology