Pesquisadores da Hebrew University of Jerusalem publicaram um método de inferência de associação (membership inference) que separa se um modelo de difusão memorizou uma imagem de treinamento de se essa imagem era simplesmente fácil de reconstruir desde o início — o fator de confusão que tornou os ataques de auditoria anteriores pouco confiáveis. O artigo, de Michael Joseph e Yedid Hoshen, relata que, no ponto ótimo de operação de log-SNR, as distribuições de perda de membros e não membros ainda se sobrepõem em 45%, razão pela qual um simples limiar de perda sinaliza imagens não vistas fáceis como membros e deixa passar imagens de treinamento difíceis.
Os dois métodos do artigo, Reference-Model Calibration (RMC) e Temporal Self-Calibration (TSC), calibram comparando um valor de perda com uma referência, em vez de lê-lo isoladamente. O RMC se aplica quando um checkpoint pré-treinado está disponível: ele pega a perda de um modelo ajustado (fine-tuned) em uma imagem candidata e subtrai a perda que o checkpoint pré-treinado anterior produziu na mesma imagem. Como a dificuldade da imagem se mantém quase inalterada entre os dois checkpoints — o artigo relata uma correlação de Pearson de r=0.989 entre as log-perdas pré-treinadas e ajustadas no Stable Diffusion ajustado no MS-COCO —, a subtração cancela a dificuldade e deixa a queda residual causada especificamente pela memorização durante o ajuste fino.
O TSC resolve o caso em que nenhum checkpoint anterior existe, o que o artigo observa ser a situação mais comum no mundo real e a única opção para auditar dados de pré-treinamento. Ele usa a própria trajetória de remoção de ruído (denoising) de um único modelo como referência, comparando a perda em um timestep de difusão escolhido com a perda média em dois timesteps vizinhos simétricos — um estêncil de três pontos que os autores descrevem como uma medida de desvio em relação à "corda" que conecta os dois pontos de referência. Como a dificuldade da imagem evolui suavemente entre níveis de ruído próximos, enquanto a memorização fica localizada em uma janela estreita da trajetória, o estêncil cancela o termo de dificuldade compartilhado e isola o sinal de associação.
Em números operacionais: no CIFAR-10, o TSC atinge 62.3% TPR@1%FPR com 15 consultas ao modelo por candidato, mais que o dobro do melhor baseline testado, o PIAN, com 30.90% TPR@1%FPR e 2 consultas. No Tiny ImageNet e no STL-10-U, o TPR@1%FPR do TSC é menor, em 12.27% e 9.57%, respectivamente, mostrando que os ganhos do método são mais fortes em distribuições de imagens mais simples. Para o Stable Diffusion v1.4 ajustado sob um modelo de ameaça sem legendas (uncaptioned) — sem prompts de texto fornecidos ao atacante —, o TSC supera todos os baselines no MS-COCO (29.16% TPR@1%FPR) e no Flickr30k (30.28%), mas perde para o PIA no ajuste fino do Pokémon, o que os autores atribuem à escala limitada e à baixa diversidade visual desse conjunto de dados. O RMC, quando um checkpoint de referência está disponível, precisa de apenas 2 consultas por candidato para atingir 90.63% TPR@1%FPR no Pokémon, 96.60% no MS-COCO e 96.86% no Flickr30k, contra 64.75%, 44.04% e 47.14% do CLiD com 15 consultas e legendas de referência (ground-truth).
O artigo também testa a robustez em nove modelos CIFAR-100 DDPM++ treinados separadamente, abrangendo todas as combinações de cabeças de predição x, v e epsilon e de alvos de perda. O TSC vence em todas as configurações, superando o melhor baseline em 23.84 pontos percentuais de TPR@1%FPR, em média; especificamente sob a perda-x, os baselines existentes ficam abaixo de 7% de TPR, enquanto o TSC atinge 29–31%. Os autores mostram que a localização do pico de vazamento de associação ao longo da trajetória de remoção de ruído muda com o objetivo de treinamento — em direção a timesteps mais ruidosos para a perda-x, e a timesteps mais limpos para a perda-epsilon —, razão pela qual métodos ajustados a um timestep fixo se degradam em parametrizações alternativas, enquanto a autocalibração do TSC não.
O método tem limites reais que o artigo declara diretamente. Tanto o RMC quanto o TSC ainda exigem acesso às saídas de remoção de ruído do modelo em níveis de ruído escolhidos, o que exclui qualquer API que exponha apenas as imagens geradas finais. O RMC especificamente precisa do checkpoint pré-treinado real do qual o modelo auditado foi ajustado — se a linhagem de treinamento for desconhecida ou se esse checkpoint nunca tiver sido divulgado, o método não se aplica. O artigo também observa que o RMC mede a mudança de perda entre dois checkpoints e não determina separadamente se uma imagem já estava presente no próprio corpus de pré-treinamento do modelo de referência, de modo que um auditor que use o RMC está apenas validando o que mudou durante a execução específica de ajuste fino, não todo o histórico de treinamento. O código está disponível no repositório GitHub dos autores (MichaelJoseph777/TSC).
Para equipes que constroem ferramentas de auditoria em torno de modelos de difusão, a medida prática é parar de tratar a perda de reconstrução bruta como uma pontuação de associação e, em vez disso, registrar perdas em múltiplos timesteps (ou em relação a um checkpoint anterior salvo) por padrão, já que a etapa de calibração que transforma um detector pouco confiável em um quase perfeito é apenas uma subtração a mais, não um novo modelo.