Hugging Face reduce el código duplicado con paridad de rendimiento de vLLM

La biblioteca transformers de Hugging Face ahora alcanza la paridad con el rendimiento nativo de vLLM en cargas de trabajo de inferencia de producción con un solo cambio de marca, eliminando la necesidad de implementaciones separadas de entrenamiento y servicio. El backend vLLM actualizado, detallado en una entrada de blog de Hugging Face de julio de 2026, fusiona dinámicamente capas en tiempo de ejecución utilizando análisis de grafos de torch.fx y reescritura de AST, igualando el rendimiento de los kernels de vLLM optimizados a mano en tres configuraciones: Qwen3-4B en una sola GPU, Qwen3-32B con paralelismo de tensor a través de dos GPUs y el modelo de expertos mixtos de 235 mil millones de parámetros Qwen3-235B-A22B-FP8 en una sola instancia de 8×H100 con paralelismo de datos y expertos.

El mecanismo evita la portación manual al cargar la implementación de transformers directamente con la marca `--model-impl transformers`. Un analizador de grafos estáticos busca patrones conocidos en el grafo de computación del modelo: proyecciones lineales fusionadas a través de los módulos `MergedColumnParallelLinear` y `QKVParallelLinear` de vLLM, paralelización de expertos de MoE y diseños paralelos de tensor o de pipeline, reescribiéndolos en su lugar a través de la manipulación de AST antes de que el grafo pase por el mismo proceso de `torch.compile` y CUDA Graphs utilizado por las implementaciones de vLLM dedicadas. La documentación de Hugging Face confirma que el backend también funciona con SGLang y TGI.

Operativamente, la paridad de rendimiento elimina la tasa de rendimiento que antes obligaba a los equipos a mantener código duplicado. En cada configuración de Qwen3 probada, el backend de transformers cumplió o superó el rendimiento nativo de vLLM, incluido el MoE FP8 a escala de 8×H100. Esto invierte el estado de la integración inicial anunciada en abril de 2025, que operaba como un puente de compatibilidad pero estaba estrellado en la atención y carecía de fusiones de capas específicas de inferencia. Ahora el mismo código de transformers utilizado para entrenamiento, evaluación y lanzamientos de RL puede promoverse a producción sin una segunda port o divergencia en los pesos del modelo.

Sin embargo, los modelos de atención lineal actualmente no son compatibles. El código de modelado personalizado en los repositorios de Hugging Face Hub es poco probable que sobreviva al análisis estático a menos que esté escrito de manera lo suficientemente predecible para que el trazador de torch.fx lo analice; las pases de idiosincrática o diseños de capas no convencionales fallarán. Esta restricción limita el beneficio a las aproximadamente 450 arquitecturas estándar en la biblioteca de transformers que siguen patrones establecidos. Para el código de modelo personalizado, los equipos siguen atascados depurando errores de trazador o manteniendo una ruta de vLLM personalizada.

Más allá del rendimiento, la función elimina los errores de divergencia de puntos de control que surgen cuando un gemelo de entrenamiento se desvía de su gemelo de servicio, una fuente común de regresiones silenciosas en las tuberías de producción de RL y ajuste fino. La función está disponible ahora a través de vLLM con `--torch-backend auto`.