Compresión de Rango Bajo Eficiente en Entrenamiento, Sin Pruebas de Velocidad en Servicio

SLORR, presentado por González-Martínez y Liu en un preimpreso de arXiv, aborda los altos costos computacionales del regularizado de rango bajo durante el entrenamiento utilizando aproximaciones polares eficientes con GPU. Este método informa una sobrecarga de entrenamiento inferior al 1% en modelos de lenguaje con 560M parámetros e inferior al 8% en cargas de trabajo de visión de ImageNet, eliminando la necesidad de computaciones de SVD por paso que anteriormente consumían horas significativas de GPU y memoria.

SLORR ofrece dos variantes de penalización: SLORR-Hoyer, que utiliza la métrica de esparsidad de Hoyer, y SLORR-Nuc, que emplea la norma nuclear. Ambas variantes penalizan espectros densos durante la optimización pero aproximan las cantidades espectrales necesarias para los gradientes del regularizador a través de la factorización polar, en lugar de computar valores y vectores singulares exactos en cada paso. La Proposición 3.1 del documento proporciona garantías de aproximación para estas estimaciones. Este enfoque deja sin cambios la arquitectura del modelo, no requiere un rango objetivo preestablecido y no mantiene un caché persistente del estado espectral entre pasos. La Tabla 1 del documento compara SLORR con métodos previos, resaltando la ineficiencia de los regularizadores basados en SVD, los cambios arquitectónicos y los parámetros adicionales introducidos por esquemas de regularización luego de factorizar, y las SVDs periódicas y cantidades en caché con estado requeridas por métodos como Q3R.

En la evaluación de ImageNet-1K, los autores informan una sobrecarga de entrenamiento inferior al 8% para el entrenamiento continuado a corto plazo de ResNet-50, ViT-B/16 y ViT-L/16, así como el entrenamiento completo de ResNet-18. Para modelado de lenguaje, SLORR-Hoyer aplicado a transformadores con 135M y 560M parámetros resulta en una sobrecarga de entrenamiento promedio inferior al 1% en un corpus de preentrenamiento no especificado. Los modelos regularizados mantienen un rendimiento comparable a las bases sin regularizar después de la factorización post-entrenamiento estándar, aunque el documento no proporciona ratios de compresión explícitos o números de precisión post-compresión para estas ejecuciones específicas. La ausencia de SVDs por paso también elimina los picos de memoria y los costos de sincronización periódicos que normalmente dificultan los regularizadores espectrales a gran escala.

Sin embargo, la brecha entre la regularización de entrenamiento y la inferencia de producción sigue siendo significativa. Los experimentos de LLM están limitados a 560M parámetros, muy por debajo de las escalas de 7B+ donde la economía de servicio es crítica. El documento no informa métricas de latencia de extremo a extremo, rendimiento o servicio de reloj de pared, lo cual es crucial porque, como muestra el análisis de FlashSVD, las reducciones nominales de FLOP de la compresión de rango bajo a menudo no se traducen en aumentos reales de velocidad de servicio de transformadores debido a rutas de ejecución fragmentadas y eficiencias divergentes de prefill versus kernel de decodificación.

El proceso práctico para ingenieros que buscan reducir el tamaño de despliegue comprimido implica un proceso de dos etapas. Incorporar SLORR en el preentrenamiento o el entrenamiento continuado para preparar espectralmente los pesos, seguido de un método de factorización post-entrenamiento como Swift-SVD. Swift-SVD es consciente de la activación, libre de entrenamiento y logra aceleraciones de 3–70× en tiempo de compresión sobre métodos SVD previos en seis LLMs y ocho conjuntos de datos; los pesos regularizados por SLORR ofrecen espectros más limpios para ello. Sin embargo, los equipos deben validar que la mejor compresibilidad se traduzca en ganancias de reloj de pared en su pila de inferencia específica e integrar el regularizador en una receta de entrenamiento ya compleja sin diagnósticos basados en SVD para la depuración de convergencia espectral.

Forzar la estructura de rango bajo durante el entrenamiento con aproximaciones polares sin SVD para preparar matrices de pesos para una descomposición limpia en la factorización post-entrenamiento descendente. No esperes ganancias de inferencia comprobadas hasta que este enfoque se reproduzca en escalas de 7B+ y se mida la latencia de servicio real.