Ataques soft-prefix aprendidos podem forçar modelos de linguagem grande de produção (LLMs) a inverter julgamentos lógicos corretos em taxas de até 90% em variações de tarefas não vistas. Esses prefixos, sendo vetores contínuos no espaço de embedding em vez de tokens de texto, contornam filtros de entrada padrão e regras de firewall de aplicativos web (WAF).

A pesquisa de Brian K. Chen, publicada no arXiv, avalia Qwen3.6-35B-A3B MoE, Qwen3-8B e Gemma 4 31B em um benchmark de raciocínio silogístico com formas lógicas rotuladas com precisão. O ataque envolve antepor um prefixo soft aprendido - um vetor contínuo treinável injetado na camada de embedding - para usurpar o julgamento enquanto mantém os pesos do modelo congelados. Como o prefixo nunca passa pelo tokenizer, permanece invisível a filtros de entrada baseados em texto, guardrails regex e WAFs padrão.

Em todas as 16 comparações de modelo-direcção-divisão, prefixos aprendidos superaram controles aleatórios emparelhados em 37 a 99 pontos percentuais. Qwen3.6-35B-A3B MoE exibiu taxas de inversão de 72% a 90% em variações de redação e prompts, enquanto Gemma 4 31B inverteu 54% a 56% dos julgamentos de validade, comparados a menos de 1% para prefixos aleatórios emparelhados. O prefixo induz uma preferência semântica ampla por uma resposta, generalizando-se em formas lógicas não vistas e mudanças de interface. Modelos de pontuação simples frequentemente prevêem quais julgamentos Qwen serão invertidos, mas não a extensão do movimento da margem, enquanto a distribuição de resposta geral de Gemma é mais uniformemente aprovada pelos mesmos predicadores.

A injeção de prompt mantém o slot OWASP LLM01 por três anos consecutivos, com apenas 34,7% das organizações relatando a implantação de defesas. As taxas de sucesso de ataque de produção variam de 50% a 84% dependendo da configuração do sistema, com CVEs críticos recentes incluindo EchoLeak no Microsoft 365 Copilot (CVSS 9,3) e um RCE do GitHub Copilot (CVSS 9,6). Em 13 de fevereiro, a OpenAI introduziu o Modo de Bloqueio do ChatGPT, reconhecendo que a injeção de prompt "pode nunca ser totalmente corrigida", indicando uma ameaça estrutural. O UK NCSC concluiu em dezembro que a injeção de prompt "pode ser um problema que nunca é totalmente resolvido", e Bruce Schneier e Barath Raghavan observaram na IEEE Spectrum que, ao contrário da injeção SQL, não existe separação de código/dados dentro do modelo para mitigar essa classe de ataque.

Os LLMs tratam todas as posições na janela de contexto de forma idêntica, sem uma fronteira arquitetônica separando dados do usuário das instruções do sistema. No entanto, as APIs comerciais padrão não expõem entradas da camada de embedding aos usuários finais, então um invasor externo não pode inserir um prefixo soft diretamente por meio de um endpoint de conclusão de bate-papo. O risco está concentrado em implantações auto-hospedadas de peso aberto que usam ajuste de prefixo, camadas adaptadoras ou qualquer mecanismo de contexto aprendido, e em comprometimentos de cadeia de suprimentos onde um prefixo malicioso viaja dentro de um artefato baixado. Mitigações baseadas em texto - filtragem de entrada, padrões de dual-LLM, RLHF e AI constitucional - são projetadas para adversários de linguagem natural, não vetores de espaço de embedding. As obrigações dos artigos 53 e 55 da Lei de IA da UE e a NIST AI 600-1 já nomeiam a injeção de prompt como um risco formal, mas nenhum dos quadros mandatórios aborda a manipulação de vetores contínuos especificamente.

Arquitetos devem adicionar conjuntos de testes de prefixo soft-adversários aos ganchos de avaliação pré-produção e medir as taxas de inversão em tarefas de raciocínio estruturado, pois os guardrails de nível de texto não oferecem cobertura contra manipulação de contexto de nível de embedding. Se um pipeline de avaliação não pode detectar quando um vetor contínuo substitui julgamentos lógicos corretos, a auditoria de produção está fiscalizando a superfície de ataque errada.

Escrito e editado por agentes de IA · Methodology