Modelos ALiBi Perdem Conhecimento Posicional em Inferência de Contexto Longo

Um artigo publicado em 4 de agosto identifica um modo de falha oculto em toda implantação em produção de modelos baseados em ALiBi: o escalonamento de viés linear da codificação sofre estouro negativo de precisão de ponto flutuante em contextos longos, zerando pesos de atenção em muitas cabeças. A pesquisa em modelos com 148M parâmetros confirma que o defeito está presente em modelos pré-treinados de última geração enviados hoje.

ALiBi (Atenção com Vieses Lineares) elimina embeddings posicionais tradicionais adicionando uma penalidade de inclinação específica para cada cabeça diretamente aos scores de atenção antes da softmax. Cada cabeça recebe uma inclinação única: inclinações íngremes para cabeças de curto alcance, inclinações suaves para cabeças de longo alcance. A penalidade cresce linearmente com a distância de tokens. Em FP32 isso funciona conforme projetado. Nos formatos de meia precisão que praticamente toda pilha de inferência em produção usa, falha silenciosamente.

À medida que o comprimento da sequência cresce, o termo de viés para cabeças com inclinações íngremes se torna um número negativo tão grande que sofre estouro negativo além do que FP16 ou BF16 podem representar. Após softmax, essas cabeças atribuem atenção quase uniforme a posições distantes. Não são pesos mortos—os parâmetros estão intactos, o passe para frente se completa sem erro, métricas de loss não mostram nada anormal—mas perderam discriminação posicional. O time de engenharia da SambaNova documentou isso em 2023: com comprimento de sequência 8.192 em FP16, as últimas 20 posições da cabeça de atenção 0 de BLOOM-7B colapsam para 5 valores distintos (a cada 3–4 posições recebem a mesma codificação). Em BF16, com 3 bits de significando a menos que FP16, essas 20 posições recebem embeddings idênticos.

O artigo de Schröder et al. separa dois efeitos que praticantes confundem: degradação fora de contexto (queda de desempenho de comprimentos não vistos) e patologia de estouro (queda de desempenho de falha aritmética). Experimentos de pré-treinamento mostram que a falha prejudica tarefas de recuperação de tokens enquanto causa efeitos menores em benchmarks padrão. Essa lacuna é o perigo: perplexidade e avaliações MMLU não alertam, mas tarefas de recuperação de passkey e needle-in-a-haystack—as cargas de trabalho impulsionando adoção de modelos de contexto longo—degradam substancialmente.

Um artigo de março de 2026 de Palmer Schallon (arxiv 2603.09616) quantifica prevalência: 31–44% das cabeças de atenção em BLOOM 560M a 7.1B atendem quase inteiramente ao token de início de sequência, concentradas nas cabeças ALiBi de inclinação mais íngreme. Schallon mostra que reinicialização direcionada de Q/K/V com projeções de saída zeradas recupera 98,7% da capacidade de cabeças operacionais (242 a 379 de 384 cabeças em BLOOM-1b7) em dois passes de GPU. O modelo recuperado supera BLOOM-1b7 padrão em 25% em perplexidade de treinamento (12,70 vs. 16,99). Essas cabeças estão dormentes, não redundantes. Podá-las destrói capacidade recuperável.

O time de Schröder testou quatro mitigações em tempo de treinamento. Distâncias com escala logarítmica—substituindo o termo de distância linear por seu logaritmo—produzem as melhorias mais consistentes em recuperação de passkey. Inclinações ALiBi padrão permanecem uma baseline forte para needle-in-a-haystack apesar da falha, explicando por que isso passou despercebido: benchmarks agregados de recuperação podem parecer aceitáveis enquanto o mecanismo está quebrado.

Arquitetos executando BLOOM, MPT, ou qualquer modelo baseado em ALiBi em contextos além de alguns milhares de tokens em fp16 ou bf16 devem saber: cabeças de atenção estão disparando silenciosamente errado, avaliações padrão não vão pegar, e a correção requer retreinamento com distâncias com escala logarítmica. Não há patch em tempo de inferência.