Backend transformers do Hugging Face agora atinge velocidade nativa vLLM em modelos Qwen3 MoE e densos

Hugging Face e vLLM alcançaram velocidade de inferência nativa para modelos transformers sem otimização customizada. O backend de modelagem transformers para vLLM, que deixa qualquer modelo Hugging Face rodar dentro de vLLM sem portar, agora corresponde ou supera implementações vLLM escritas à mão em benchmarks abrangendo Qwen3-4B (GPU única), Qwen3-32B (tensor-parallel) e Qwen3-235B FP8 MoE (dados + paralelismo de especialista) em nós 8×H100. A mudança principal é fusão de camada dinâmica em tempo de execução usando análise de grafo torch.fx para identificar padrões de otimização, depois reescrita AST para fundir operações em kernels ultra-otimizados do vLLM.

Anteriormente, autores de modelos tinham que integrar uma vez para transformers (para pesquisa/treinamento) e separadamente para vLLM (para produção em serviço). Agora uma implementação única de transformers automaticamente obtém velocidade de inferência nativa vLLM para arquiteturas compatíveis. A fusão em tempo de execução visa operações como MergedColumnParallelLinear e QKVParallelLinear, infere planos de paralelização para tensor-paralelo e pipeline-paralelo, e permanece totalmente compatível com torch.compile e CUDA Graph.

O impacto é arquitetural. As equipes agora podem usar o mesmo código de modelo em treinamento, avaliação, rollouts de RL e inferência de produção sem manter caminhos separados otimizados. Executar qualquer modelo Hugging Face é uma única flag: --model-impl transformers, que se compõe com opções de paralelismo usual (--tensor-parallel-size, --data-parallel-size, --enable-expert-parallel) sem mudanças de configuração de serviço.

Para equipes de infraestrutura, o valor é tempo para produção e consistência. Cada nova arquitetura adicionada a transformers imediatamente ganha desempenho de inferência nativa sem esperar por portas customizadas de vLLM. O gargalo de inferência muda de kernels de atenção para otimizações de nível de sistema mais amplas (paralelização, compilação, kernels fundidos), reduzindo o custo de engenharia de deploy de modelos de fronteira em escala.