IBM Research publicou VAKRA em 12 de agosto de 2026 — um benchmark que stress-testa o uso de ferramentas por agentes em condições empresariais: 8.000 APIs hospedadas localmente e apoiadas por banco de dados em 62 domínios, restrições de política em linguagem natural e um avaliador que reproduz trajetórias completas de agentes. Até o melhor modelo pontua apenas 70,4% em tarefas de um salto, 50–51% em APIs composicionais e 2,4% em consultas com restrições de política que deveria recusar.

O benchmark tem quatro níveis de dificuldade. Os dois primeiros testam interação de API tipo BI e dashboard — o tipo de encadeamento de ferramentas usado em inteligência de negócios e suporte ao cliente. Capability 1 abrange 2.077 instâncias de teste em 54 domínios, com cadeias de tarefas exigindo 1–12 chamadas de ferramentas. Capability 2 expõe uma restrição: cada domínio expõe 6 a 328 ferramentas candidatas (média 116). A especificação de API OpenAI limita listas de ferramentas a 128, forçando qualquer construtor de agentes a implementar filtragem apenas para alcançar o intervalo superior. É um requisito de engenharia, não uma particularidade.

Capabilities 3 e 4 adicionam raciocínio multi-salto em APIs estruturadas e documentos não estruturados. Tarefas exigem 3–7 chamadas de API dependentes onde cada saída deve ser analisada e re-parametrizada na próxima. O nível final adiciona políticas em linguagem natural — restrições de acesso, lógica condicional — que agentes devem analisar antes de invocar qualquer ferramenta. O desempenho cai mais de 50% conforme a profundidade do raciocínio aumenta.

O harness de avaliação VAKRA se destaca. APIs rodam localmente via servidores MCP apoiados por bancos de dados persistentes; o avaliador reproduz trajetórias contra ferramentas ativas. Um pipeline de juiz de três etapas roda em ordem: PolicyJudge verifica aderência a políticas, ExactMatchJudge verifica se respostas de ferramentas esperadas aparecem na trajetória (agnóstico quanto a ordem), e GroundednessJudge verifica se as respostas finais estão enraizadas em saídas executadas. O design tolera múltiplos caminhos de execução válidos — crucial em fluxos de trabalho empresariais onde não existe uma única sequência de API.

Os pesquisadores usaram um harness ReAct fixo para isolar capacidade de modelo da arquitetura do agente. Isto torna os resultados diretamente comparáveis entre modelos de fronteira e open-weight e contorna efeitos de engenharia de prompt. A análise de rastreamento de falhas mostra que falhas se concentram em raciocínio mediado por linguagem — desambiguação de entidade e fundamentação multi-fonte — não em invocação de ferramenta bruta. Modelos falham porque não podem mapear entidades entre esquemas, não porque não podem chamar APIs.

Falhas de política importam mais para prontidão de produção. Uma taxa de sucesso de 2,4% em consultas que deveriam ser recusadas significa que modelos de fronteira quase sempre tentam responder perguntas fora do escopo. Em contextos de conformidade, esse é o modo de falha principal, não um caso extremo. O leaderboard público no Hugging Face Spaces abriu para envios externos em março de 2026 via modelo de issue do GitHub.

Times avaliando modelos de agentes devem rodar VAKRA antes de se comprometer. A lacuna entre precisão de um salto e com restrições de política é grande o suficiente que benchmarks isolados de chamada de ferramentas não preverão comportamento de produção.