CARE Reduz Ativação de Especialistas no Fine-Tuning MoE-LoRA

Um novo artigo de Saliencro, Desai, Nair, Lindqvist e Whitmore apresenta CARE — Roteamento de Especialistas Adaptativo por Confiança — um substituto para o roteamento top-k fixo no fine-tuning MoE-LoRA. Testado em LLaMA-3.1-8B e Qwen2.5-7B em oito benchmarks de senso comum, além de tarefas de matemática, código e conhecimento, CARE iguala a acurácia baseline do k=4 fixo enquanto ativa menos especialistas por token. O código é público.

O problema é estrutural: MoE-LoRA padrão roteia cada token para exatamente k especialistas independentemente da confiança do modelo. O softmax do roteador já codifica incerteza — uma distribuição concentrada sinaliza confiança; uma plana sinaliza ambiguidade — mas o roteamento top-k fixo descarta esse sinal.

CARE trata a ativação de especialistas como amostragem por núcleo. Os especialistas são classificados por peso decrescente do roteador e admitidos até que a massa de probabilidade cumulativa limpe um limite. Tokens ambíguos espalham massa por muitos candidatos e puxam mais especialistas automaticamente. Tokens de alta confiança concentram massa em um ou dois e param cedo. Uma extensão de desacordo adiciona um especialista sempre que o conjunto admitido discorda da saída — um mecanismo de ensemble leve a custo zero em previsões não contestadas.

Um termostato de orçamento mantém a contagem média de especialistas em qualquer alvo sem ajuste manual de limite. Defina o alvo, calibre em um pequeno conjunto de validação e CARE se auto-ajusta. O mecanismo roda em uma única passagem para frente sem parâmetros adicionais.

Os resultados dos benchmarks mostram dois modos. Em computação correspondente — mesmos especialistas ativos médios que o baseline top-k fixo — CARE melhora a acurácia em toda a suite. Comparado ao k=4 fixo, CARE atinge a mesma acurácia com menos especialistas ativos. O artigo não apresenta figuras explícitas de wall-clock ou throughput de token; as estimativas de latência de 20–30% no resumo são aproximadas até que as tabelas experimentais sejam revisadas. O artigo estabelece que acurácia equivalente é alcançável a um custo menor de ativação de especialistas, de onde originam as economias em tempo de inferência.

Um resultado secundário: os sinais de confiança e desacordo de CARE superam Probabilidade de Softmax Máxima (MSP), entropia e proxies de múltiplas passagens para detecção fora-da-distribuição. Quando um modelo MoE-LoRA enfrenta desvio de distribuição, o mesmo sinal de roteamento que economiza computação funciona como um detector leve de anomalias a custo zero.

O método se integra em qualquer stack MoE-LoRA que exponha a distribuição de peso do roteador antes de truncamento top-k. Arquiteturas usando roteamento MoA ou LoRAMoE o inserem substituindo a etapa top-k. A calibração do termostato de orçamento requer um pequeno conjunto de validação em-distribuição — padrão em fluxos de fine-tuning, mas importante para deployment zero-shot.

A percepção chave: o softmax do roteador já sinaliza quais tokens são difíceis. CARE é o primeiro método MoE-LoRA a explorar esse sinal em tempo de inferência sem parâmetros adicionais ou passagens para frente.