Compressão de Baixa Rank com Eficiência de Treinamento Desvia da Prova de Velocidade de Serviço

SLORR, introduzido por González-Martínez e Liu em um pré-impressão do arXiv, aborda os altos custos computacionais do regularização de baixa rank durante o treinamento usando aproximações polares eficientes com GPU. Este método relata menos de 1% de sobrecarga de treinamento em modelos de linguagem com 560M parâmetros e menos de 8% em cargas de trabalho de visão do ImageNet, eliminando a necessidade de computações de SVD por etapa que anteriormente consumiam horas significativas de GPU e memória.

SLORR oferece duas variantes de penalidade: SLORR-Hoyer, que utiliza a métrica de esparsidade de Hoyer, e SLORR-Nuc, que emprega a norma nuclear. Ambas as variantes penalizam espectros densos durante a otimização, mas aproximam as quantidades especiais necessárias para as gradientes do regularizador por fatoração polar, em vez de computar valores e vetores singulares exatos em cada etapa. A Proposição 3.1 do artigo fornece garantias de aproximação para esses estimativas. Esta abordagem não altera a arquitetura do modelo, não requer rank alvo pré-especificado e não mantém um cache persistente de estado espectral entre etapas. A Tabela 1 do artigo compara SLORR com métodos anteriores, realçando a ineficiência dos regularizadores baseados em SVD, as alterações arquitetônicas e os parâmetros adicionais introduzidos por esquemas de regularização após a fatoração, e as SVDs periódicas e quantidades armazenadas em cache com estado exigidas por métodos como Q3R.

Em benchmarking no ImageNet-1K, os autores relatam sobrecarga de treinamento abaixo de 8% para treinamento contínuo de curto prazo do ResNet-50, ViT-B/16 e ViT-L/16, bem como pré-treinamento completo do ResNet-18. Para modelagem de linguagem, SLORR-Hoyer aplicado a transformadores com 135M e 560M parâmetros resulta em menos de 1% de sobrecarga de treinamento média em um corpus de pré-treinamento não especificado. Os modelos regularizados mantêm desempenho comparável a base de dados não regularizados após fatoração pós-treinamento padrão, embora o artigo não forneça taxas de compressão explícitas ou números de precisão póscompressão para essas execuções específicas. A ausência de SVDs por etapa também remove picos de memória e custos de sincronização periódicos que geralmente atrapalham regularizadores especiais em escala.

No entanto, a lacuna entre regularização de treinamento e inferência de produção permanece significativa. Os experimentos de LLM são limitados a 560M parâmetros, muito abaixo das escalas de 7B+ onde a economia de serviço é crítica. O artigo não relata métricas de latência de ponta a ponta, throughput ou tempo de relógio de serviço, o que é crucial porque, como a análise FlashSVD mostra, reduções nominais de FLOPs de compressão de baixa rank muitas vezes não se traduzem em real aumento de velocidade de serviço de transformadores devido a caminhos de execução fragmentados e eficiências divergentes de kernel de pré-preenchimento versus decodificação.

O pipeline prático para engenheiros que visam pés de implantação comprimidos envolve um processo de duas etapas. Incorpore SLORR em pré-treinamento ou treinamento contínuo para preparar espectralmente os pesos, seguido por um método de fatoração pós-treinamento como Swift-SVD. Swift-SVD é consciente da ativação, sem treinamento e alcança 3–70× de aceleração no tempo de compressão sobre métodos SVD anteriores em seis LLMs e oito conjuntos de dados; pesos regularizados por SLORR oferecem espectros mais limpos para ele. No entanto, as equipes devem validar que a melhor capacidade de compressão se traduz em ganhos de relógio de parede em sua pilha de inferência específica e integrar o regularizador em uma receita de treinamento já complexa sem diagnósticos baseados em SVD para depuração de convergência espectral.

Impor estrutura de baixa rank durante o treinamento com aproximações polares sem SVD para preparar matrizes de pesos para decomposição limpa no pós-treinamento downstream. Não espere ganhos de inferência comprovados até que esta abordagem seja replicada em escalas 7B+ e o tempo real de serviço seja medido.