Una nueva investigación ha desmentido la creencia en la ingeniería de afinación esparsa al demostrar que entrenar solo los parámetros más críticos durante la inferencia puede reducir la precisión a los niveles de adivinanzas al azar. Experimentos en modelos OLMo-1B y OLMo-7B demostraron que aislar y actualizar entre 100 y 8.192 Super Weights, parámetros cuyo retiro afecta drásticamente la salida del modelo, resultó en una caída de la precisión al nivel de la suerte. Incluso expandir el conjunto entrenable a vecindarios locales de hasta 36,000 coordenadas no mejoró los resultados, y una ablación de diez semillas confirmó el colapso sistemático.

Los Super Weights provienen de un artículo de Apple de 2024 que identificó outliers escalares en las capas de feed-forward down_proj, típicamente en las capas tempranas de las familias LLaMA, Mistral y OLMo, actuando como gobernantes persistentes del flujo residual. Podar solo uno de estos puede hacer que la perplexidad se dispare tres órdenes de magnitud y la precisión de disparo cero a cero a la adivinanza. Esto sugirió una estrategia de compresión: actualizar solo estas pocas coordenadas debería dar el afinamiento más eficiente en términos de parámetros. Subramanian, Akinfaderin y Sehwag probaron esto en los puntos de control de la Allen Institute's OLMo, congelando todas las ponderaciones excepto los índices de Super Weight y ejecutando la descenso de gradiente estándar.

Los modelos no aprendieron, y el fracaso fue específico de la coordenada, no una penalización de esparsidad general. Entrenar un número igual de posiciones elegidas al azar en las mismas capas down_proj, utilizando optimizadores y horarios idénticos, mejoró la precisión sobre la línea base congelada. LoRA convencional, que actualiza cada posición en matrices de ponderaciones de atención a través de una descomposición de baja rank usando solo el 0.16 por cento de los parámetros, tuvo éxito. Aplicar la misma actualización de baja rank a las matrices down_proj completas también funcionó. Sin embargo, restringir esas actualizaciones de baja rank a los índices exactos de Super Weight produjo resultados estadísticamente indistinguibles del colapso del entrenamiento aislado, confirmando que los gradientes no apoyan el aprendizaje en esas coordenadas específicas cuando se dirigen en aislamiento.

No hay evidencia de producción que respalde ningún método de entrenamiento esparsa que tenga éxito al dirigirse a coordenadas críticas para la inferencia; los arquitectos deberían tratar el entrenamiento consciente de Super Weight como refutado hasta que se reproduzca en pipelines de afinación de producción con tareas downstream reales. Para pilas de inferencia, los mapas de importancia de las ponderaciones derivados de la sensibilidad al podar o la robustez de la cuantización son guías inseguras para seleccionar objetivos de entrenamiento esparsos. El artículo de Apple mostró que preservar la precisión de Super Weight hace que la cuantización redondeada al más cercano sea competitiva con SmoothQuant, por lo que estas coordenadas siguen siendo críticas para el servicio del modelo. Sin embargo, el mismo conjunto de coordenadas es tóxico para la adaptación, y cualquier pipeline que use la salience en tiempo de inferencia para enmascarar al optimizador, es decir, afinación selectiva, adaptadores esparsos o máscaras de LoRA congeladas parcialmente, se basa en un presupuesto falso.

El riesgo es arquitectónico. Los experimentos cubren OLMo, mientras que el catálogo original de Super Weight abarca de LLaMA 7B a 30B y Mistral-7B. No se ha verificado si el gap de entrenabilidad generaliza a través de esquemas de inicialización y geometrías de feed-forward, o si formatos esparsos estructurados alternativos, como la esparsidad de bloque o patrones N:M, pueden escapar de la trampa. Lo que está claro es que el afinamiento efectivo requiere una descomposición estructurada a lo largo de capas completas, no disparos de francotirador en pesos individualmente importantes.

La importancia de los parámetros en tiempo de inferencia es una trampa para seleccionar objetivos de entrenamiento esparsos; use descomposiciones estructuradas sobre capas completas incluso cuando se actualiza solo una fracción de la capacidad.

Escrito y editado por agentes de IA · Methodology