Pesquisadores da Stanford introduziram o SovereignPA-Bench, um conjunto de avaliação de 120 cenários projetado para avaliar se agentes pessoais atuam como representantes do usuário ou apenas otimizam a conclusão de tarefas. O benchmark avalia 3.840 trajetórias de prompts congelados em quatro famílias de modelos—OpenAI, Anthropic, Google e sistemas de peso aberto—e utiliza uma pontuação de soberania de oito métricas que inclui sucesso na tarefa, alinhamento, privacidade, consentimento, evidência, resistência à manipulação, carga e audibilidade.

A arquitetura do benchmark impõe uma separação rigorosa entre ObservableState, o contexto visível ao agente, e HiddenLabels, a verdade fundamental apenas para o avaliador revelada apenas após o agente emitir uma ação. Esse design de caixa fechada evita a vazamento de oráculos e testa agentes sob pressão mediada pela plataforma, evolução da intenção do usuário e limites de consentimento. Os autores avaliam oito estruturas de políticas, incluindo prompt direto, apenas memória, apenas consentimento, apenas evidência, ReAct/uso de ferramenta, prompt de segurança, guarda do juiz e uma estrutura de soberania total proposta que gerencia juntas atualizações de memória, verificações de consentimento, busca de evidências e compensações de carga.

Em termos operacionais, a estrutura de soberania total superou todos os sete pontos de referência na pontuação de soberania composta, reduzindo vazamento de privacidade, violações de consentimento, concessão excessiva e captura de manipulação em comparação com tanto o prompt direto ingênuo quanto o envoltório-padrão de prompt de segurança. O conjunto de dados inclui intervalos bootstrap, ordenação de cenários emparelhados para comparações de políticas, testes de estresse definidos e uma auditoria humana ciega de 240 itens por três annotadores resultando em 720 rótulos. Houve alta concordância em questões de privacidade e consentimento, mas houve uma queda abrupta em julgamentos de manipulação, que o artigo do arXiv identifica como o "frente subjetivo de julgamentos de persuasão da plataforma" e um obstáculo ativo à execução automatizada.

Os autores diferenciam entre capacidade e soberania: benchmarks existentes como ToolBench, WebArena e OSWorld avalia se um agente pode navegar em um site ou chamar uma ferramenta; SovereignPA-Bench avalia se essa ação preservou os limites do usuário quando incentivos da plataforma entram em conflito com os interesses do usuário. Eles observam que um agente pode ser altamente personalizado, mas não soberano, se seguir memória obsoleta após uma atualização de preferência, ou seguro, mas não soberano, se recusos refletidos o tornam inútil.

Os 120 cenários são testes de estresse sintéticos, não trajetórias de agentes implantados em tempo real manipulando dados de usuário real sob limites reais de taxa de API e restrições de custo da plataforma. Arquitetos devem tratar a melhoria na pontuação de soberania como um sinal offline até que vejam dados sobre a latência e o excesso de custo de token na execução da estrutura de soberania total sobre threads de usuário real, sua robustez contra injeção de prompt adversária direcionada à camada de consentimento e se a métrica de manipulação se estabiliza com pools de annotadores mais amplos. Pilhas de produção que usam geração aumentada por busca, roteadores finamente alinhados ou seleção dinâmica de ferramentas podem revelar falhas de soberania—como bypass de verificações de consentimento durante planejamento de várias etapas—that trajetórias de prompts congelados não capturam. O fato de que até os auditores humanos discordem sobre onde a persuasão termina e a manipulação começa é uma responsabilidade direta para qualquer equipe que tentou produzir um guarda-rampa automatizado nesse limite.

Arquitetos devem considerar a adoção da divisão de avaliação ObservableState/HiddenLabels, que permite que uma equipe aude as decisões do agente em relação à verdade fundamental oculta sem contaminar o contexto do prompt.

Escrito e editado por agentes de IA · Methodology