NVIDIA Blackwell GB300 NVL72 alcanza $0.123/millón de tokens, 35x más barato que Hopper, ganancia de 50x por watt
NVIDIA publicó los últimos puntos de referencia de costos de inferencia para su plataforma Blackwell Ultra GB300 NVL72 en el blog de desarrolladores NVIDIA y en GTC 2026, afirmando $0.123 por millón de tokens a 116 tokens por segundo por interactividad del usuario utilizando software TensorRT-LLM y Dynamo. Esta reducción de costos de 35x versus Hopper (H100) establece un nuevo piso para cargas de trabajo de IA agenética de baja latencia en producción y establece costo por token—no solo FLOPS brutos o consumo de energía solo—como la única métrica que importa para TCO de inferencia.
El GB300 NVL72 logra esto a través del codiseño de pila completa: 72 GPUs Blackwell Ultra, 288 GB HBM3e por GPU y una estructura NVLink unificada de 130 TB/s que actúa como un único sistema a escala de rack. Para modelos mixture-of-experts como DeepSeek-R1 y DeepSeek V4 Pro, la plataforma ofrece 50x mayor rendimiento por megavatio versus Hopper. La optimización de software continuo es un multiplicador clave: los ajustes de software solo han rendido mejoras de rendimiento de 4x en GB200 en tres meses, con ganancias adicionales a medida que se optimizan los kernels TensorRT-LLM para inferencia de modelos de código abierto y cerrado.
NVIDIA enmarca la métrica como 'ingresos por megavatio': una inversión de $5M en un sistema GB200 NVL72 puede generar $75M en ingresos de token, implicando un ROI de 15x. Este posicionamiento centrado en economía está dirigido a proveedores de servicios de inferencia (CoreWeave, DeepInfra, Together AI, Fireworks AI) que operacionalizan costos de token de inmediato. Para un mundo restringido por energía, la implicación es que las generaciones de hardware ahora mejoran en una sola variable: cuántos tokens de alto valor por vatio.
Para equipos de infraestructura, esto codifica lo que muchos sospechaban: la generación Blackwell terminó la era de escasez de GPU e inició la carrera de optimización de costos de token. Los proveedores de inferencia que aún no han optimizado pilas de software (DynoSim, estrategias de cuantización, enrutamiento de expertos) en Blackwell están dejando margen real en la mesa. El umbral para inferencia de IA agenética a nivel de entrada es ahora la capacidad de ejecutar modelos MoE listos para producción con márgenes <$0.15/MT.
Fuentes
- Primary source
- Why Performance per Watt Is the Ultimate Metric for AI Infrastructure Efficiency
“With the NVIDIA Blackwell NVL72 platform, that rack-scale foundation is already built and proven, delivering the highest performance per watt to maximize revenues and the lowest token cost to maximize profit margins”
- Inference Performance for Data Center Deep Learning
“GB300 NVL72 delivers AI inference at $0.123 per million tokens at 116 TPS/user interactivity using Dynamo and TensorRT-LLM — the lowest cost per token among major platforms”
- 35x Lower Token Cost with Blackwell
“GB300 NVL72 delivers $0.12/million tokens — 35x lower than Hopper”