NVIDIA Blackwell GB300 NVL72 atinge $0,123/milhão de tokens, 35x mais barato que Hopper, ganho de 50x por watt
A NVIDIA publicou últimos benchmarks de custo de inferência para sua plataforma Blackwell Ultra GB300 NVL72 no blog de desenvolvedores NVIDIA e na GTC 2026, afirmando $0,123 por milhão de tokens a 116 tokens-por-segundo por interatividade do usuário usando software TensorRT-LLM e Dynamo. Esta redução de custo de 35x versus Hopper (H100) estabelece um novo piso para cargas de trabalho de IA agenência de baixa latência em produção e estabelece custo por token—não apenas FLOPs brutos ou consumo de energia sozinho—como a única métrica que importa para TCO de inferência.
O GB300 NVL72 consegue isso através do codesign completo de stack: 72 GPUs Blackwell Ultra, 288GB HBM3e por GPU e uma malha NVLink unificada de 130 TB/s que atua como um único sistema em escala de rack. Para modelos mixture-of-experts como DeepSeek-R1 e DeepSeek V4 Pro, a plataforma oferece 50x maior taxa de transferência por megawatt versus Hopper. A otimização de software contínua é um multiplicador-chave: ajustes de software sozinhos renderam melhorias de 4x de desempenho em GB200 em três meses, com ganhos adicionais conforme os kernels TensorRT-LLM são otimizados para inferência de modelo aberto e fechado.
A NVIDIA enquadra a métrica como 'receita por megawatt': um investimento de $5M em um sistema GB200 NVL72 pode gerar $75M em receita de token, implicando um ROI de 15x. Este posicionamento centrado em economia é voltado para provedores de serviço de inferência (CoreWeave, DeepInfra, Together AI, Fireworks AI) que operacionalizam custos de token imediatamente. Para um mundo restringido por energia, a implicação é que as gerações de hardware agora melhoram em uma única variável: quantos tokens de alto valor por watt.
Para equipes de infraestrutura, isso codifica o que muitos suspeitavam: a geração Blackwell terminou a era de escassez de GPU e iniciou a corrida de otimização de custo de token. Provedores de inferência que ainda não otimizaram stacks de software (DynoSim, estratégias de quantização, roteamento de especialista) em Blackwell estão deixando margem real na mesa. O limiar para inferência de IA agenénica de nível de entrada é agora a capacidade de executar modelos MoE prontos para produção com margens <$0,15/MT.
Fontes
- Primary source
- Why Performance per Watt Is the Ultimate Metric for AI Infrastructure Efficiency
“With the NVIDIA Blackwell NVL72 platform, that rack-scale foundation is already built and proven, delivering the highest performance per watt to maximize revenues and the lowest token cost to maximize profit margins”
- Inference Performance for Data Center Deep Learning
“GB300 NVL72 delivers AI inference at $0.123 per million tokens at 116 TPS/user interactivity using Dynamo and TensorRT-LLM — the lowest cost per token among major platforms”
- 35x Lower Token Cost with Blackwell
“GB300 NVL72 delivers $0.12/million tokens — 35x lower than Hopper”