GPU NVIDIA Rubin adiciona gerenciamento de descritor MoE, 2x throughput de dimensão K, 4x softmax para inferência

NVIDIA detalhou novas otimizações arquitetônicas no GPU Rubin, chegando no final de 2026, que visam eficiência de inferência em geração de tokens e processamento de contexto longo. O Tensor Memory Accelerator (TMA) da Rubin agora suporta gerenciamento de descritor MoE (mixture-of-experts) unificado em tempo de execução, eliminando descritores de memória separados para cada especialista. Isso reduz o overhead de computação de metadados conforme os modelos escalam para milhares de especialistas, liberando ciclos de GPU para o trabalho real de inferência em vez de logica de movimento de dados.

Rubin duplica o throughput de dimensão K em operações de matriz Tensor Core, permitindo que duas iterações de loop no Rubin completem o mesmo trabalho que exigia quatro loops no Blackwell. Isso melhora o desempenho em núcleos limitados por throughput, memória e latência e beneficia as fases de processamento de contexto e decodificação. Além disso, operações softmax em mecanismos de atenção agora atingem até 4x throughput versus Blackwell, com Rubin mantendo a aceleração exponencial 2x do Blackwell Ultra enquanto adiciona capacidade softmax adicional 2x—crítica para modelos de contexto longo processando até 1 milhão de tokens.

Para arquitetos de infraestrutura, essas otimizações importam porque mantêm GPUs Rubin totalmente utilizados durante workloads de inferência onde modelos MoE e raciocíno de contexto longo dominam. Cada ciclo de GPU liberado e ganho de eficiência no nível de token se traduz diretamente em menor custo por token em hiperscala. Conforme IA com agentes e modelos de raciocíno empurram a inferência para se tornar o workload dominante em fábricas de IA, essas refinações arquitetônicas deslocam o gargalo para longe da computação e em direção à largura de banda de memória e latência—a superfície de otimização restante.