IBM Research publicó VAKRA el 12 de agosto de 2026 — un benchmark que prueba bajo presión el uso de herramientas por agentes en condiciones empresariales: 8.000 APIs hospedadas localmente y respaldadas por base de datos en 62 dominios, restricciones de política en lenguaje natural y un evaluador que reproduce trayectorias completas de agentes. Incluso el mejor modelo puntúa solo 70,4% en tareas de un salto, 50–51% en APIs composicionales y 2,4% en consultas restringidas por política que debería rechazar.

El benchmark tiene cuatro niveles de dificultad. Los dos primeros prueban interacción de API tipo BI y panel — el tipo de encadenamiento de herramientas usado en inteligencia de negocios y soporte al cliente. Capability 1 abarca 2.077 instancias de prueba en 54 dominios, con cadenas de tareas que requieren 1–12 llamadas de herramientas. Capability 2 expone una restricción: cada dominio expone 6 a 328 herramientas candidatas (promedio 116). La especificación de API OpenAI limita listas de herramientas a 128, forzando a cualquier constructor de agentes a implementar filtrado solo para alcanzar el rango superior. Es un requisito de ingeniería, no una peculiaridad.

Capabilities 3 y 4 añaden razonamiento multi-salto en APIs estructuradas y documentos no estructurados. Las tareas requieren 3–7 llamadas de API dependientes donde cada salida debe ser analizada y re-parametrizada en la siguiente. El nivel final añade políticas en lenguaje natural — restricciones de acceso, lógica condicional — que los agentes deben analizar antes de invocar cualquier herramienta. El rendimiento cae más del 50% conforme aumenta la profundidad del razonamiento.

El harness de evaluación VAKRA destaca. Las APIs se ejecutan localmente a través de servidores MCP respaldados por bases de datos persistentes; el evaluador reproduce trayectorias contra herramientas activas. Un pipeline de juez de tres pasos se ejecuta en orden: PolicyJudge verifica adherencia a políticas, ExactMatchJudge verifica que las respuestas de herramientas esperadas aparezcan en la trayectoria (agnóstico al orden), y GroundednessJudge verifica si las respuestas finales están enraizadas en salidas ejecutadas. El diseño tolera múltiples rutas de ejecución válidas — crucial en flujos de trabajo empresariales donde no existe una única secuencia de API.

Los investigadores usaron un harness ReAct fijo para aislar la capacidad del modelo de la arquitectura del agente. Esto hace que los resultados sean directamente comparables entre modelos fronterizos y de peso abierto y evita efectos de ingeniería de prompts. El análisis de rastreo de fallos muestra que los fallos se concentran en razonamiento mediado por lenguaje — desambiguación de entidades y fundamentación multi-fuente — no en invocación de herramientas cruda. Los modelos fallan porque no pueden mapear entidades entre esquemas, no porque no puedan llamar APIs.

Los fallos de política importan más para la preparación de producción. Una tasa de éxito de 2,4% en consultas que deberían ser rechazadas significa que los modelos fronterizos casi siempre intentan responder preguntas fuera de alcance. En contextos de cumplimiento, ese es el modo de fallo principal, no un caso extremo. El leaderboard público en Hugging Face Spaces se abrió para envios externos en marzo de 2026 a través de plantilla de issue de GitHub.

Los equipos que evalúan modelos de agentes deben ejecutar VAKRA antes de comprometerse. La brecha entre precisión de un salto y la restringida por políticas es lo suficientemente grande como para que los benchmarks aislados de llamada de herramientas no puedan predecir el comportamiento de producción.