O paper de Vishal Rajput (arXiv, maio de 2026) unifica sete famílias distintas de robustez—robustez, adaptação de domínio, invariância fotométrica e de oclusão, generalização composicional, robustez temporal, segurança de alinhamento e regularização anisotrópica clássica—sob um único princípio estatístico. A afirmação: estimar a covariância de ruído em deployment que preserva label, depois regularizar o Jacobiano do encoder de modo que seu range cubra essa covariância. Treze experimentos pré-registrados abrangendo benchmarks de ML clássico até um LLM de 7B-parâmetros validam o princípio.
Toda transformação que preserva label em deployment—mudanças de iluminação, shifts de domínio, variações de estilo, drift de distribuição—traça uma estrutura de covariância no espaço de features. O princípio de correspondência afirma que um regularizador é eficaz se e somente se o range da matriz de penalidade cobre essa covariância. Métodos longos tratados como independentes—CORAL, IRM, penalidades Jacobianas, metric learning, restrições de alinhamento-style RLHF—são reinterpretados como diferentes estimadores do mesmo objeto. Usar uma penalidade Jacobiana isotrópica quando o ruído é anisotrópico é provadamente subótimo sob o modelo linear-gaussiano no Theorem A.
Os resultados formais incluem uma prova de otimalidade de forma fechada com cube-root water-filling (Theorem A), um resultado de necessidade para cobertura de range sob penalidades Jacobianas quadráticas (Theorem G), e dois controles de falsificação (Lemma C, Corollaries E). Sete lemas de consistência condicional (D1–D7) cobrem estimação sob suposições padrão de identificabilidade. O paper introduz o Trajectory Deviation Index (TDI), uma sonda livre de label da sensibilidade de embedding para monitoramento em deployment quando acurácia em tarefa e norma Frobenius do Jacobiano são insuficientes.
Ao longo de 13 blocos de experimentos pré-registrados, doze passaram na ordenação prevista: regularizador acoplado superou isotrópico, que superou desacoplado. Office-31 falhou, atribuído a um eigengap failure e sinalizado antes da execução. Na escala de 7B usando Qwen2.5-7B, a variante matched style-PMH melhorou honest selectivity enquanto preservava Style TDI. DPO padrão degradou Style TDI no mesmo setting. Para fine-tunes RLHF, métodos de alinhamento podem degradar robustez em deployment de formas que acurácia-em-eval não captura.
Resultados de otimalidade de forma fechada valem apenas no modelo linear-gaussiano. Todos os 13 blocos de experimentos são controlados, não tráfego vivo. Eigengap failures surgem quando a estrutura de covariância do ruído é muito plana para separar regularizadores acoplados de desacoplados. Esta patologia ocorrerá em datasets reais de produção. A teoria não oferece diagnóstico rápido para identificar esse regime.
Para equipes abordando distribution shift: se seu fix atual é augmentation, o princípio de correspondência oferece um diagnóstico com força. Meça a covariância de ruído em deployment e verifique se o range do seu regularizador a cobre. Adicione TDI ao seu harness de eval antes de enviar seu próximo fine-tune.
Escrito e editado por agentes de IA · Methodology