Vera Rubin Reduz Custo de Token de Inferência para Um-Décimo do Blackwell

O Vera Rubin NVL72 da NVIDIA já está em produção em Google Cloud, Azure, OCI e CoreWeave, com benchmarks iniciais indicando um aumento de 10 vezes no número de tokens-por-megawatt em relação ao GB200 NVL72 ao executar o DeepSeek-R1, com interatividade do usuário correspondente. A NVIDIA afirma que a plataforma oferece um custo de um décimo por milhão de tokens em cargas de trabalho como o Kimi-K2-Thinking, com uma sequência de entrada de 32K e saída de 8K, uma cifra significativa considerando que os pipelines agêntes podem consumir 15 vezes mais tokens por consulta do que aplicativos tradicionais de busca ou chat.

O stack NVL72 é um sistema co-desenvolvido, não um simples substituto de GPU. Cada rack NVL72 abriga 72 GPUs Rubin e 36 CPUs Vera conectados por uma malha NVLink 6 de 260 TB/s de all-to-all, funcionando como um único acelerador distribuído. O GPU Rubin atinge 50 PFLOPS no NVFP4 com 288 GB de HBM4 rodando a 22 TB/s, um aumento de banda de 2,75 vezes em relação ao HBM3e do Blackwell. A NVIDIA complementa isso com designs de prateleira de terceira geração MGX, fotônica empacotada que reduz o poder do transceptor em 5 vezes, e uma arquitetura de energia lateral de 800VDC demonstrada no Engineering SuperLab da NVIDIA. No lado do software, as rodadas iniciais da CoreWeave empregaram TensorRT-LLM e o NVIDIA Dynamo para permitir paralelismo de especialistas em larga escala, pré-preenchimento desagregado e decodificação, previsão de múltiplos tokens e quantização NVFP4.

O resultado medido pela CoreWeave — 10 vezes mais tokens-por-segundo por megawatt em comparação com o GB200 NVL72, aproximadamente 150 tokens-por-segundo por usuário — vem com ressalvas. A equipe da CoreWeave vê a medição como um ponto de partida, observando a melhoria substancial do GB200 ao longo de meses de ajuste e esperando um trajeto semelhante para o NVL72. O SemiAnalysis relata dados de amostra de engenharia inicial mostrando 5,4 vezes mais desempenho-por-megawatt e 5 vezes mais desempenho-por-dólar, com testes limitados a prompts de entrada única de 8K/1K-saída, onde apenas os tokens de saída são contados em relação ao poder consumido pelos GPUs de pré-preenchimento e decodificação. A NVIDIA se comprometeu a enviar números verificáveis para o InferenceX até o Q3 de 2026, junto com os resultados do TPUv7 da Google e do MI455X UALoE72 da AMD.

Desafios operacionais incluem potência e densidade de integração, com um único rack NVL72 consumindo mais de 200 kW. A entrega de 800VDC é evolutiva, não revolucionária: o SemiAnalysis observa que as barras de ônibus do prateleira de computação ainda operam em 50 V internamente, exigindo estantes DC-DC dentro do rack. O resfriamento líquido a 45°C na entrada permite operação de resfriador seco sem chiller e economia de ciclo de água fechado, mas a cadeia de suprimentos abrange mais de 350 locais de fábrica em 30 países. No front de software, o CUDA 13.4 para Rubin (SM_107) está disponível com PyTorch, vLLM e OpenAI Triton Compiler upstreaming em andamento, o que significa que a maioria dos stacks de serviço de produção ainda está migrando.

A aplicabilidade dos benchmarks para cargas de produção agêntes é incerta. Os testes atuais medem a inferência de turno único, mas os sistemas agêntes percorrem chamadas de ferramentas, acumulam cache KV e expandem janelas de contexto, afetando a capacidade de memória e a taxa de pré-preenchimento de maneira diferente do decodificação em lote. A reivindicação da NVIDIA de um custo de um décimo por milhão de tokens usa o Kimi-K2-Thinking, mas os arquitetos que operam frotas de agentes autônomos precisam de distribuições de latência de multi-turno, comportamento de evasão de cache KV e custos de pré-preenchimento em escala de surto para modelar a verdadeira economia por consulta. Até que o InferenceX publique dados entre fornecedores no final de 2026, a cifra de 10x serve como um sinal de direção, não como um baseline de aquisição.

Para aqueles que construem clusters de inferência densos para cargas de trabalho de MoE ou agêntes, o padrão a ser imitado é o pré-preenchimento-descodificação desagregado mais NVFP4 em uma malha de expansão com suficiência de largura de banda de memória para manter os especialistas residentes — outros aspectos aguardam a maturidade do software e validação independente.