SovereignPA-Bench Mide si los Agentes de IA Protegen los Límites del Usuario

Los investigadores de Stanford han presentado SovereignPA-Bench, un conjunto de evaluación de 120 escenarios diseñado para determinar si los agentes personales actúan como representantes del usuario o simplemente se optimizan para completar tareas. La referencia de evaluación evalúa 3,840 trayectorias de prompts congelados en cuatro familias de modelos: OpenAI, Anthropic, Google y sistemas de peso abierto, y utiliza una puntuación de soberanía de ocho métricas que incluye éxito en la tarea, alineación, privacidad, consentimiento, evidencia, resistencia a la manipulación, carga y auditoría.

La arquitectura de la referencia de evaluación impone una separación estricta entre ObservableState, el contexto visible para el agente, y HiddenLabels, la verdad fundamental solo para el evaluador que se revela solo después de que el agente emite una acción. Este diseño de caja cerrada evita la filtración de oráculos y prueba a los agentes bajo presión mediada por la plataforma, intención del usuario en evolución y límites de consentimiento. Los autores evalúan ocho andamios de políticas, incluyendo directa, solo memoria, solo consentimiento, solo evidencia, ReAct/uso de herramientas, seguridad-prompt, juez-guardia y un andamiado de soberanía completa propuesto que gestiona conjuntamente actualizaciones de memoria, verificaciones de consentimiento, recuperación de evidencia y compensaciones de carga.

En términos operativos, el andamiado de soberanía completa superó a las siete líneas base en la puntuación de soberanía compuesta, reduciendo la filtración de privacidad, violaciones de consentimiento, concesión excesiva y captura de manipulación en comparación con tanto la directa como la directa y el envoltura de seguridad-prompt estándar. El conjunto de datos incluye intervalos bootstrap, orden de escenarios emparejados para comparaciones de políticas, pruebas de estrés establecidas y una auditoría humana ciega de 240 elementos por tres anotadores que generan 720 etiquetas. Hubo un alto acuerdo en cuestiones de privacidad y consentimiento, pero disminuyó abruptamente en los juicios de manipulación, que el artículo de arXiv identifica como el "fronte subjetivo de los juicios de persuasión de la plataforma" y un obstáculo activo para la aplicación automática.

Los autores distinguen entre capacidad y soberanía: referencias de evaluación existentes como ToolBench, WebArena y OSWorld evalúan si un agente puede navegar un sitio o llamar a una herramienta; SovereignPA-Bench evalúa si esa acción preservó los límites del usuario cuando los incentivos de la plataforma entran en conflicto con los intereses del usuario. Notan que un agente puede ser altamente personalizado pero no soberano si sigue un recuerdo obsoleto después de una actualización de preferencia, o seguro pero no soberano si los refusos reflejos lo hacen inútil.

Los 120 escenarios son pruebas de estrés sintéticos, no trayectorias de agentes desplegados en vivo manejando datos de usuario real bajo límites de tasa de API de plataforma y restricciones de costo reales. Los arquitectos deben tratar la mejora de la puntuación de soberanía como una señal sin conexión hasta que vean datos sobre la latencia y el costo de tokens adicionales de ejecutar el andamiado de soberanía completa sobre hilos de usuario real, su robustez contra la inyección de prompts adversarios dirigidos a la capa de consentimiento y si el métrica de manipulación se estabiliza con grupos de anotadores más amplios. Pilas de producción que utilizan generación aumentada por recuperación, enrutadores finamente ajustados o selección dinámica de herramientas pueden revelar fallas de soberanía, como bypass de verificaciones de consentimiento durante la planificación de varios saltos, que las trayectorias de prompts congelados no capturan. El hallazgo de que incluso los auditores humanos no concuerdan en donde termina la persuasión y comienza la manipulación es una responsabilidad directa para cualquier equipo que intente producir una barrera de guardia automatizada en ese límite.

Los arquitectos deben considerar la adopción de la división de evaluación ObservableState/HiddenLabels, que permite a un equipo auditar decisiones de agentes contra la verdad fundamental oculta sin contaminar el contexto del prompt.