La Investigación de Apple ha presentado MM-ToolSandBox, un marco de referencia y entorno de ejecución diseñado para agentes de llamada de herramientas con fundamentación visual. Los resultados iniciales son sorprendentes: en más de 500 herramientas y 258 escenarios verificadas por humanos, incluso el mejor modelo de la vanguardia fracasó más de la mitad de sus tareas. El marco evalúa flujos de trabajo de agentes multi-turno y multi-image, donde las entradas visuales se reciben progresivamente y el agente debe fundamentarlas en llamadas de herramienta ejecutables mientras gestiona mutaciones de estado, revisiones de objetivos y correcciones de errores en un tiempo de ejecución con estado.

La pila extiende ToolSandbox y AppWorld con fundamentación visual en 16 dominios de aplicación, admitiendo tanto interfaces de llamada de función como de ejecución de código. El marco de evaluación utiliza un juez de doble modo: calificación de LLM basada en rúbricas junto con marcos de diferenciación de entidades estáticas. El repositorio incluye soporte para ejecución paralela hasta 16 trabajadores, un servidor de visualización local en localhost:8000 y registro completo de trayectorias para análisis posteriores. La configuración requiere Python 3.11+, aproximadamente 7 GB de espacio en disco para imágenes de escenario y claves de API para OpenAI, Anthropic y Serper, lo que indica una tubería dependiente de API externa en lugar de un marco de prueba aislado.

El corpus de escenarios se divide en dos conjuntos: 258 tareas nominales multi-aplicación, multi-turno para la referencia completa y 50 escenarios de representación de UI para una superficie interactiva A2UI. Un pipeline de generación automatizado produce candidatos a través de planificación guiada por flujo de información y filtrado multi-etapa, con el conjunto nominal siendo verificado por humanos. El README de GitHub proporciona ejemplos de ejecución utilizando GPT-5 como agente y Claude 4.5 Sonnet como juez, reflejando un patrón de evaluación que empareja modelos de vanguardia en roles adversarios o de árbitro y vincula los costos de referencia a los precios de múltiples API de la vanguardia.

Los resultados subrayan la inmadurez de la llamada de herramientas visual. El artículo de arXiv evaluó doce modelos que van desde puntos de control de peso abierto de 4B hasta sistemas propietarios de primer nivel, y ninguno logró un índice de éxito del 50%. El análisis de fracaso revela que el 53% de los fracasos resultaron de extracción incorrecta de información de imágenes, incluso cuando el agente había construido de otro modo un flujo de trabajo de tareas correcto. El modo de error cambia con la escala del modelo, complicando la planificación de capacidad: los modelos más pequeños fallan en la planificación, mientras que los modelos más grandes fallan en la precisión visual. Esto sugiere que la escala en sí sola no cerrará la brecha de percepción, y los equipos pueden necesitar combinar pequeños planificadores con grandes sistemas de visión en lugar de confiar en un solo modelo monolítico.

Esta entrega es un marco de referencia de investigación sin evidencia de implementación de agentes de producción. Para los arquitectos que consideren la adopción, los puntos de fricción prácticos son claros. El conjunto de LLM como juez introduce sesgo del evaluador, varianza y costo: cada ejecución de referencia consume tokens a través de varias API de proveedor sin garantía de que el juez sea más visualmente confiable que el agente bajo prueba. La carga de 7 GB de imágenes y la ejecución con estado multi-turno hacen que este sea un conjunto de integración pesado que consumirá muchas horas de GPU y presupuesto de API. El marco tampoco aborda cómo estos agentes se comportan bajo límites de tasa real, límites de concurrencia o presupuestos de latencia orientados al usuario, todos los cuales son críticos para que un llamador de herramientas visual sea implementable.

Para la replicación interna, los arquitectos deberían considerar la adopción del sandbox con estado con reproducción completa de trayectoria, soporte para trabajadores paralelos y puntuación de entidades estáticas, reemplazando al juez LLM con evaluadores deterministas o específicos del dominio siempre que lo permita la tarea.

Escrito y editado por agentes de IA · Methodology