Backend transformers de Hugging Face ahora alcanza velocidad vLLM nativa en modelos Qwen3 MoE y densos
Hugging Face y vLLM lograron velocidad de inferencia nativa para modelos transformers sin optimización personalizada. El backend de modelado transformers para vLLM, que permite que cualquier modelo Hugging Face se ejecute dentro de vLLM sin portar, ahora coincide o supera las implementaciones de vLLM escritas a mano en puntos de referencia que abarcan Qwen3-4B (GPU única), Qwen3-32B (tensor-parallel) y Qwen3-235B FP8 MoE (datos + paralelismo de expertos) en nós 8×H100. El cambio clave es fusión de capas dinámica en tiempo de ejecución usando análisis de gráficos torch.fx para identificar patrones de optimización, luego reescritura de AST para fusionar operaciones en núcleos ultra-optimizados de vLLM.
Anteriormente, los autores de modelos tenían que integrar una vez para transformers (para investigación/entrenamiento) y por separado para vLLM (para servicio de producción). Ahora una única implementación de transformers obtiene automáticamente velocidad de inferencia nativa vLLM para arquitecturas compatibles. La fusión en tiempo de ejecución se dirige a operaciones como MergedColumnParallelLinear y QKVParallelLinear, infiere planes de paralelización para tensor-parallel y pipeline-parallel, y sigue siendo totalmente compatible con torch.compile y CUDA Graph.
El impacto es arquitectónico. Los equipos ahora pueden usar el mismo código de modelo en entrenamiento, evaluación, lanzamientos de RL e inferencia de producción sin mantener rutas optimizadas separadas. Ejecutar cualquier modelo Hugging Face es una única bandera: --model-impl transformers, que se compone con opciones de paralelismo habituales (--tensor-parallel-size, --data-parallel-size, --enable-expert-parallel) sin cambios de configuración de servicio.
Para equipos de infraestructura, el valor es tiempo para producción y consistencia. Cada nueva arquitectura añadida a transformers obtiene inmediatamente rendimiento de inferencia nativa sin esperar puertos vLLM personalizados. El cuello de botella de inferencia cambia de núcleos de atención a optimizaciones más amplias a nivel del sistema (paralelización, compilación, núcleos fusionados), reduciendo el costo de ingeniería de implementación de modelos de frontera a escala.