98 Por cento das Explicaçãos de Ativação Não Fundamentam Afirmações

Uma auditoria do Autocodificador de Linguagem Natural da Anthropic para Qwen-2.5-7B, afinado a partir do Qwen-2.5-7B-Instruct na camada 20 e disponível no Hugging Face, mostrou que métricas padrão de reconstrução são insuficientes para detectar afirmações falsas em explicações de ativação de linguagem natural. O modelo passa facilmente nos métricas de reconstrução, mas apenas cerca de dois por cento das afirmações específicas estão realmente fundamentadas na ativação, o que significa que aproximadamente noventa e oito por cento não estão fundamentadas fielmente e sobrevivem rastreando o tom geral da entrada sem carregar fatos verificáveis, permitindo que a maioria das afirmações falsas passem desapercebidas.

A auditoria focou em um ponto de verificação do ativador verbalizador na camada 20, afinado a partir do Qwen-2.5-7B-Instruct. A ferramenta opera como um par de autocodificadores, com um ativador verbalizador mapeando um vetor de fluxo residual para prosa de linguagem natural e um ativador reconstutor mapeando essa prosa de volta para um vetor. A pesquisa de Hiskias Dingeto demonstra que o objetivo é estruturalmente cego à precisão por afirmação, recompensando a suficiência sem punir adições falsas.

Dingeto identificou duas maneiras pelas quais o teste pode ser satisfeito sem ser fiel. No Qwen-2.5-7B NLA liberado, apenas cerca de dois por cento das afirmações específicas estão genuinamente fundamentadas na ativação, enquanto o restante sobrevive rastreando o tom geral da entrada sem carregar fatos verificáveis. Em testes de caixa de areia sintética com verdade exata, a receita padrão de treinamento produziu co-adaptados 'códigos privados' — palavras falsas que o reconstutor aprendeu a depender — em todas as cinco execuções, o que significa que a prosa é infiel por construção, mas obtém uma pontuação alta na reconstrução.

O artigo fornece métricas de detecção, focando-se nos dinâmicos de treinamento e na metodologia de auditoria em vez do desempenho da pilha de inferência. Ele quantifica a eficácia de um esquema de treinamento alternativo chamado RECAP — Codificações Legíveis por Meio de Predizores Auxiliares Co-treinados — onde cabeças lineares são treinadas junto com o modelo alvo para manter o conteúdo designado decodificável. Um sonda treinada com RECAP alcança uma AUC de 0,96 ao distinguir afirmações verdadeiras das falsas, comparado com 0,82 para sondas treinadas em um modelo padrão. Sob edição adversária projetada para suprimir cerca de oitenta e sete por cento da penalidade de mentira enquanto preserva a pontuação de reconstrução, a sonda RECAP ainda sinaliza engano na AUC 0,95, enquanto uma sonda de controle desmorona para 0,51, indistinguível da chance. RECAP adiciona um custo de treinamento de +0,001 nats. Em um verbalizador fresco na execução de replicação do Pythia-160M, RECAP impulsionou pontuações de verdade de 0,44-0,46 versus controles quase zero, embora esse verbalizador ainda transmitisse apenas parte do conteúdo designado.

Para pilhas de produção, a barreira prática é o tempo de arquitetura. RECAP requer a co-treinamento de cabeças lineares auxiliares dentro do modelo alvo durante o treinamento inicial; não pode ser adicionado a pesos já enviados, como o ponto de verificação público do Qwen-2.5-7B NLA. Equipes de segurança que atualmente usam explicações de ativação para auditoria de vetores de direcionamento ou sondas de conceito estão, portanto, limitadas a protocolos de auditoria pós-hoc — a cruzada fundamentada-vs-verdadeira e a troca do avaliador — que podem ser executados sem retreinamento, mas permanecem como etapas manuais de diagnóstico, não filtros automatizados. A evidência também é de âmbito restrito: um único NLA liberado, uma caixa de areia sintética e um pequeno modelo de treinamento contínuo em semente única, com comportamento de escala fronteira explicitamente não testado. O modo de falha do código privado não é um caso de borda raro, mas o resultado padrão da receita padrão.

A mensagem chave para arquitetos é que a perda de reconstrução sozinha é insuficiente como um portão de fidelidade para ferramentas de interpretabilidade de linguagem natural; qualquer camada de segurança de produção construída sobre verbalizadores de ativação precisa de verificação no nível da afirmação, não apenas similaridade de vetor.