Treinamento de Pesos Super falha em modelos OLMo, demolindo a estratégia de afinação esparsa

Nova pesquisa desbancou a crença engenharia prevalente na afinação esparsa ao mostrar que treinar apenas os parâmetros mais críticos durante a inferência pode reduzir a precisão aos níveis de adivinhação aleatória. Experimentos em modelos OLMo-1B e OLMo-7B demonstraram que isolar e atualizar entre 100 e 8.192 Pesos Super — parâmetros cuja remoção afeta drasticamente a saída do modelo — resultou em precisão caindo para níveis de chance. Mesmo expandindo o conjunto treinável para vizinhanças locais de até 36.000 coordenadas, os resultados não melhoraram, e uma ablação de dez-sementes confirmou o colapso sistemático.

Os Pesos Super originam-se de um artigo da Apple de 2024 que identificou outliers escalares nas camadas feed-forward down_proj, tipicamente nas camadas iniciais das famílias LLaMA, Mistral e OLMo, atuando como governantes persistentes do fluxo residual. Podar apenas um desses pode fazer a perplexidade disparar três ordens de magnitude e a precisão zero-shot colapsar para adivinhar. Isso sugeriu uma estratégia de compressão: atualizar apenas essas poucas coordenadas deveria render o afinamento mais eficiente em termos de parâmetros. Subramanian, Akinfaderin e Sehwag testaram isso nos pontos de verificação do Instituto Allen OLMo, congelando todas as ponderações, exceto os índices de Pesos Super, e executando a descida de gradiente padrão.

Os modelos falharam ao aprender, e a falha foi específica da coordenada, não uma penalidade de esparsidade geral. Treinar um número igual de posições escolhidas aleatoriamente nas mesmas camadas down_proj, usando os mesmos otimizadores e agendas, melhorou a precisão sobre a linha de base congelada. LoRA puro, atualizando todas as posições nas matrizes de pesos de atenção por meio de uma decomposição de baixa rank usando apenas 0,16 por cento dos parâmetros, teve sucesso. Aplicar a mesma atualização de baixa rank para as matrizes down_proj completas também funcionou. No entanto, restringir essas atualizações de baixa rank aos exatos índices de Pesos Super produziu resultados estatisticamente indistinguíveis da queda do treinamento isolado, confirmando que os gradientes não apoiam o aprendizado em essas coordenadas específicas quando direcionados em isolamento.

Nenhuma evidência de produção apoia nenhum método de treinamento esparsa que tenha sucesso ao visar coordenadas críticas para a inferência; arquitetos devem tratar o treinamento consciente de Pesos Super como desproveniente até que seja reproduzido em pipelines de afinação de produção com tarefas downstream reais. Para pilhas de inferência, mapas de importância de peso derivados da sensibilidade ao podar ou robustez à quantização são guias insaláveis para a seleção de alvos de treinamento esparsos. O artigo da Apple mostrou que preservar a precisão de Pesos Super torna a quantização round-to-nearest competitiva com SmoothQuant, então esses coordenadas permanecem críticas para o serviço do modelo. No entanto, o mesmo conjunto de coordenadas é tóxico para adaptação, e qualquer pipeline que use a saliência no tempo de inferência para mascarar o otimizador — afinação seletiva, adaptadores esparsos ou máscaras LoRA congeladas parciais — é construído sobre um pressuposto falso.

O risco é arquitetônico. Os experimentos cobrem o OLMo, enquanto o catálogo original de Pesos Super abrange de LLaMA 7B a 30B e Mistral-7B. Ainda não está verificado se a lacuna de treinabilidade generaliza através de esquemas de inicialização e geometrias feed-forward, ou se formatos esparsos estruturados alternativos, como sparsidade de bloco ou padrões N:M, podem escapar do laço. O que está claro é que o afinamento eficaz requer decomposição estruturada em toda a camada, não tiros de sniper em pesos individualmente importantes.

A importância dos parâmetros na inferência é uma armadilha para a seleção de alvos de treinamento esparsos; use decomposições estruturadas em camadas inteiras, mesmo ao atualizar apenas uma fração da capacidade.