A Pesquisa da Apple introduziu o MM-ToolSandBox, um benchmark e ambiente de execução desenhado para agentes de chamada de ferramentas fundamentados visualmente. Os resultados iniciais são impressionantes: em mais de 500 ferramentas e 258 cenários verificados por humanos, até o melhor modelo de fronteira falhou em mais da metade de suas tarefas. O framework avalia fluxos de trabalho de agentes multi-turno e multi-imagens, onde as entradas visuais são recebidas progressivamente e o agente deve fundamentá-las em chamadas de ferramentas executáveis enquanto gerencia mutações de estado, revisões de objetivos e correções de erros em um tempo de execução com estado.

A pilha estende o ToolSandbox e o AppWorld com fundamentação visual em 16 domínios de aplicação, oferecendo suporte tanto para interfaces de chamada de função quanto de execução de código. O conjunto de avaliação utiliza um juiz de modo duplo: classificação de LLM baseada em roteiro e frameworks de comparação de entidades estáticos. O repositório inclui suporte para execução paralela até 16 trabalhadores, um servidor de visualização local em localhost:8000 e registro completo de trajetórias para análise pós-hoc. A configuração requer Python 3.11+, aproximadamente 7 GB de espaço em disco para imagens de cenário e chaves de API para OpenAI, Anthropic e Serper, indicando um pipeline dependente de API externa em vez de um conjunto de ferramentas offline autônomo.

O corpus de cenário é dividido em dois conjuntos: 258 tarefas nominais multi-aplicativo, multi-turno para o benchmark completo e 50 cenários de renderização de UI para uma superfície interativa A2UI. Uma linha de produção automatizada produz candidatos por meio de planejamento orientado pelo fluxo de informação e filtragem em várias etapas, com o conjunto nominal sendo verificado por humanos. O README do GitHub fornece exemplos de execução usando o GPT-5 como o agente e o Claude 4.5 Sonnet como o juiz, refletindo um padrão de avaliação que emparelha modelos de fronteira em papéis adversários ou de árbitro e vincula os custos de benchmarking ao preço de várias APIs de fronteira.

Os resultados sublinham a imaturidade da chamada de ferramentas visuais. O artigo do arXiv avaliou doze modelos, variando de pontos de verificação de peso aberto de 4B para sistemas proprietários de topo, nenhum dos quais alcançou uma taxa de sucesso de 50%. A análise de falha revela que 53% das falhas resultaram da extração incorreta de informações de imagens, mesmo quando o agente havia construído um fluxo de trabalho de tarefas correto de outra forma. O modo de erro muda com a escala do modelo, complicando a planejamento de capacidade - modelos menores falham na planificação, enquanto modelos maiores falham na precisão visual. Isso sugere que a escala sozinha não vai fechar a lacuna na percepção e equipes podem precisar combinar pequenos planejadores com grandes backbones de visão em vez de confiar em um único modelo monolítico.

Este lançamento é um benchmark de pesquisa sem evidência de implantação de agentes de produção. Para arquitetos considerando a adoção, os pontos de atrito práticos são claros. A configuração do LLM como juiz introduz viés do avaliador, variação e custo - cada execução de benchmark consome tokens em várias APIs de provedor sem garantia de que o juiz seja mais visualmente confiável do que o agente sendo testado. A carga de 7 GB de imagens e execução com estado multi-turno tornam este um conjunto de integração pesado que consumirá muitas horas de GPU e orçamento de API. O framework também não aborda como esses agentes se comportam sob limites reais de taxa, limites de concordância ou orçamentos de latência voltados ao usuário, todos os quais são críticos para um chamador de ferramentas visual ser implantável.

Para replicação interna, arquitetos devem considerar a adoção da caixa de areia com estado com replay completo de trajetória, suporte a trabalhadores paralelos e pontuação de entidades estáticas, substituindo o juiz LLM por pontuadores determinísticos ou específicos do domínio sempre que a tarefa permitir.

Escrito e editado por agentes de IA · Methodology