CARE Reduce la Activación de Expertos en Fine-Tuning MoE-LoRA

Un nuevo artículo de Saliencro, Desai, Nair, Lindqvist y Whitmore presenta CARE — Enrutamiento de Expertos Adaptativo por Confianza — un reemplazo para el enrutamiento top-k fijo en fine-tuning MoE-LoRA. Probado en LLaMA-3.1-8B y Qwen2.5-7B en ocho benchmarks de sentido común más tareas de matemática, código y conocimiento, CARE iguala la precisión baseline de k=4 fijo mientras activa menos expertos por token. El código es público.

El problema es estructural: MoE-LoRA estándar enruta cada token a exactamente k expertos independientemente de la confianza del modelo. El softmax del enrutador ya codifica incertidumbre — una distribución concentrada señala confianza; una plana señala ambigüedad — pero el enrutamiento top-k fijo descarta esa señal.

CARE trata la activación de expertos como muestreo por núcleo. Los expertos se clasifican por peso decreciente del enrutador y se admiten hasta que la masa de probabilidad acumulada supera un umbral. Los tokens ambiguos dispersan masa entre muchos candidatos y atraen automáticamente más expertos. Los tokens de alta confianza concentran masa en uno o dos y se detienen temprano. Una extensión de desacuerdo agrega un experto siempre que el conjunto admitido discrepa en la salida — un mecanismo de conjunto ligero sin costo en predicciones no impugnadas.

Un termostato presupuestario mantiene la cantidad promedio de expertos en cualquier objetivo sin ajuste manual de umbral. Establece el objetivo, calibra en un pequeño conjunto de validación y CARE se auto-ajusta. El mecanismo se ejecuta en un único pase hacia adelante sin parámetros adicionales.

Los resultados de los benchmarks muestran dos modos. En cómputo coincidente — los mismos expertos activos promedio que el baseline top-k fijo — CARE mejora la precisión en toda la suite. Comparado con k=4 fijo, CARE alcanza la misma precisión con menos expertos activos. El artículo no presenta cifras explícitas de wall-clock o throughput de token; las estimaciones de latencia de 20–30% en el resumen son aproximadas hasta que se revisen las tablas experimentales. El artículo establece que la precisión equivalente es alcanzable a un costo menor de activación de expertos, de donde se originan los ahorros en tiempo de inferencia.

Un resultado secundario: las señales de confianza y desacuerdo de CARE superan la Probabilidad de Softmax Máxima (MSP), entropía y proxies multipase para detección fuera de distribución. Cuando un modelo MoE-LoRA enfrenta desvío de distribución, la misma señal de enrutamiento que ahorra cómputo funciona como un detector ligero de anomalías sin costo adicional.

El método se integra en cualquier stack MoE-LoRA que exponga la distribución de peso del enrutador antes de truncamiento top-k. Las arquitecturas que usan enrutamiento MoA o LoRAMoE lo insertan reemplazando el paso top-k. La calibración del termostato presupuestario requiere un pequeño conjunto de validación en distribución — estándar en flujos de fine-tuning pero importante para despliegue cero-shot.

La idea clave: el softmax del enrutador ya señala qué tokens son difíciles. CARE es el primer método MoE-LoRA en explotar esa señal en tiempo de inferencia sin parámetros adicionales o pases hacia adelante.