Pesquisadores da Universidade de Oxford e da Universidade de Toronto publicaram MMDiff em 10 de agosto, um framework que usa autoencóderes esparsos como ferramentas de auditoria cirúrgica para modelos multimodais. A ferramenta permite que engenheiros isolem exatamente quais características internas mudaram quando a base de linguagem foi exposta a dados visuais, e então removam ou ampliem essas características sem tocar nos pesos.

O ajuste fino de um LLM pré-treinado em dados de visão reformula seu espaço de características internas de maneiras difíceis de rastrear depois. Autoencóderes esparsos podem decompor estados ocultos em direções interpretáveis post-hoc, mas não informam quais direções foram alteradas pelo treinamento multimodal ou fornecem um meio limpo de orientar essas direções uma vez encontradas. MMDiff fecha ambas as lacunas treinando um par de SAEs — um no modelo de linguagem base, outro em seu equivalente adaptado para multimodal — e fazendo o diff dos dicionários de características resultantes para sinalizar direções que rotacionaram ou surgiram.

O framework expõe três operações. Isolamento de características compara dicionários SAE de LM base e multimodais para identificar quais características foram reutilizadas pelo treinamento visão-linguagem. Detecção específica de tarefas executa análise de disparo contrastiva por token: forneça ao modelo uma consulta de raciocínio espacial versus uma consulta VQA genérica e mantenha apenas características que se ativam diferencialmente. Controle em nível de características permite que equipes removam causalmente uma direção descoberta (ablação) ou se orientem ao longo dela (amplificação) sem retreinar.

Os autores testaram MMDiff em LLaVA-MORE, PaliGemma 2 e InternVL3.5, avaliando compreensão visual-espacial, OCR e benchmarks de segurança multimodal. A remoção causal de características identificadas degradou comportamentos alvo seletivamente: o desempenho da tarefa espacial caiu 12%, OCR caiu 17% e as taxas de sucesso de ataques de segurança multimodal caíram 24%. O desempenho de VQA foi afetado, confirmando que as características removidas eram específicas do comportamento alvo em vez de emaranhadas com raciocínio visual geral. Ampliar as direções descobertas melhorou a precisão espacial em 3,6% e a precisão de OCR em 1,8% em média em comparação com um baseline de direcionamento de camada única padrão.

Para equipes ajustando modelos visão-linguagem em dados proprietários — documentos internos, imagens médicas, esquemas de manufatura — MMDiff responde "o que exatamente o ajuste fino ensinou ao modelo?" antes de implementar. Hoje essa auditoria é amplamente qualitativa: suítes de avaliação, red-teaming, sondas comportamentais. MMDiff oferece uma resposta em nível de características: aqui estão as direções que se moveram, aqui está o subconjunto específico da tarefa, aqui está um toggle para cada um. A redução de ataques de segurança de 24% foi alcançada removendo um pequeno conjunto de direções identificadas, não por treinamento adversarial ou filtragem em camada de saída.

O treinamento SAE de MMDiff adiciona uma etapa de computação em cima do treinamento multimodal — você precisa treinar SAEs tanto no LM base quanto no modelo adaptado antes que a difusão comece. O artigo não relata o custo de treinamento SAE ou sobrecarga de latência para direcionamento em tempo de inferência, que importa para implementações em produção. As três famílias de modelos testadas são todas arquiteturas de peso aberto; a transferência para modelos com apenas acesso de inferência é indefinida. E as alegações causais baseiam-se em intervenções em espaço de ativação que assumem que a decomposição SAE é fiel — uma questão aberta conhecida em interpretabilidade mecanicista.

Para arquitetos construindo pipelines de compreensão de documentos ou IA incorporada com ajuste fino interno, MMDiff é um passo concreto em direção aos portões de implementação interpretáveis: treine o par SAE, faça o diff das características, execute sondas contrastivas contra sua tarefa, e decida quais direções suprimir antes da produção.