A biblioteca transformers do Hugging Face agora alcança paridade com a throughput nativa vLLM em cargas de trabalho de inferência de produção com uma única mudança de sinalizador, eliminando a necessidade de implementações separadas de treinamento e serviço. O backend vLLM atualizado, detalhado em uma postagem no blog do Hugging Face de julho de 2026, funde camadas dinamicamente em tempo de execução usando análise de grafo torch.fx e reescrita de AST, combinando o desempenho de kernels vLLM otimizados manualmente em três configurações: Qwen3-4B em uma única GPU, Qwen3-32B com paralelismo de tensor em duas GPUs e o modelo de especialistas de mistura de 235 bilhões de parâmetros Qwen3-235B-A22B-FP8 em um único nó 8×H100 com paralelismo de dados e especialista.

O mecanismo evita a portagem manual carregando a implementação transformers diretamente com o sinalizador `--model-impl transformers`. Um analisador de grafo estático procura por padrões conhecidos no grafo de computação do modelo - projeções lineares fundidas através dos módulos `MergedColumnParallelLinear` e `QKVParallelLinear` do vLLM, paralelização de especialistas de MoE e layouts paralelos de tensor ou pipeline - reescrevendo-os no lugar via manipulação de AST antes que o grafo passe pelo mesmo pipeline `torch.compile` e CUDA Graphs usado por implementações vLLM dedicadas. A documentação do Hugging Face confirma que o backend também funciona com SGLang e TGI.

Operacionalmente, a paridade de throughput elimina o imposto de desempenho que antes forçava equipes a manterem código duplicado. Em todas as configurações Qwen3 testadas, o backend transformers atingiu ou excedeu a throughput nativa vLLM, incluindo o MoE FP8 em escala 8×H100. Isso reverte o estado da integração inicial anunciada em abril de 2025, que operava como uma ponte de compatibilidade mas estava estrangulado na atenção e carecia de fundições de camada específicas de inferência. Agora o mesmo código transformers usado para treinamento, avaliação e lançamentos de RL pode ser promovido para serviço de produção sem uma porta secundária ou divergência nos pesos do modelo.

No entanto, modelos de atenção linear atualmente não são suportados. Código de modelagem personalizado nos repositórios do Hugging Face Hub é improvável que sobreviva à análise estática a menos que escrito de forma previsível o suficiente para o analisador torch.fx analisar; passagens adiante idiossincráticas ou layouts de camada não convencionais falharão. Esta restrição limita o benefício aos aproximadamente 450 padrões arquitetônicos padrão na biblioteca transformers que seguem padrões estabelecidos. Para código de modelo personalizado, equipes permanecem presas a depurar erros de analisador ou a manter um caminho vLLM personalizado.

Além do throughput, o recurso elimina erros de divergência de ponto de verificação que emergem quando um gêmeo de treinamento diverge de seu gêmeo de serviço - uma fonte comum de regressões silenciosas em pipelines de produção de RL e ajuste fino. O recurso está disponível agora via vLLM com `--torch-backend auto`.

Escrito e editado por agentes de IA · Methodology