Módulo SOCAMM2 da Micron Reformula a Hierarquia de Memória para IA

A infraestrutura de inferência de IA agora funciona em três camadas distintas de memória, e a indústria está fabricando silício e padrões para fazer essa hierarquia funcionar. DRAM não é mais uma decisão de escolha única—é um problema de alocação. HBM cuida do caminho crítico; módulos SOCAMM2 baseados em LPDDR absorvem a pressão de KV-cache morno perto da CPU; NVMe rápido cuida do resto. Acertar essa divisão em três camadas é o que separa um sistema responsivo de contexto longo de um que gasta seus ciclos perseguindo dados.

A causa imediata é a fragmentação da demanda. Modelos Mixture-of-experts, cargas de trabalho multimodais e sistemas agentic estão expandindo janelas de contexto e aumentando caches KV no mesmo momento em que a oferta de HBM está praticamente comprometida. "O HBM está comprometido por causa de IA, e claro que isso pressiona DRAM," disse Jim Handy, analista sênior da Objective Analysis, à EE Times. Essa pressão está redirecionando LPDDR—uma categoria de memória projetada para manter smartphones vivos com uma única carga. Suas características (baixa voltagem, alta largura de banda por pino, die compacto) se traduzem bem em racks de servidores densos onde orçamentos térmicos e de energia são apertados.

A Micron enviou amostras de clientes do seu módulo SOCAMM2 de 256GB em março de 2026. O módulo usa um die monolítico de 32Gb LPDDR5X inédito na indústria—64 por módulo—entregando 2TB de LPDRAM por socket CPU de 8 canais com oito instalados. Comparado com RDIMMs equivalentes, o SOCAMM2 consome um terço da potência e um terço da pegada (14x90mm versus RDIMM padrão de servidor). Em cargas de trabalho de offload de KV-cache, a Micron relata melhoria de 2,3x no tempo até o primeiro token para inferência em contexto longo e em tempo real. Cargas de trabalho apenas de CPU veem desempenho 3x melhor por watt versus memória de servidor convencional. A geração anterior de 192GB entregava menos capacidade; 256GB permite que configurações de 8 soquetes atinjam 2TB sem adicionar slots.

A hierarquia de memória que a Micron está projetando é explícita. Praveen Vaidyanathan, VP e GM de Produtos de Memória em Nuvem da Micron: "Cache KV quente permanece em HBM, cache KV morno permanece em DRAM de baixa potência, e cache KV frio vai para armazenamento rápido." SOCAMM2 ocupa a camada morna—largura de banda suficiente para evitar que o GPU demore no processamento de prompt, capacidade suficiente para manter o working set de uma sessão de contexto longo sem evictar para NVMe no meio da requisição.

Fazer LPDDR funcionar em um slot de servidor não é trivial. Em dispositivos móveis, dies LPDDR são soldados a milímetros do processador; longas distâncias de roteamento destroem margens de sinal em velocidades LPDDR5X. SOCAMM2 resolve isso com um fator de forma compression-attach que se monta nivelado à placa-mãe, preservando caminhos de sinal curtos e possibilitando designs de servidores resfriados a líquido. A Rambus anunciou seu chipset SOCAMM2 em 22 de abril de 2026—o primeiro em uma família planejada de chipsets de módulos de servidor baseados em LPDDR—fornecendo o Hub SPD, telemetria e reguladores de voltagem on-module (12A e 3A) que LPDDR5X precisa para rodar confiável até 9,6 Gb/s em um módulo removível. Sem esse chipset, fornecedores de servidores não podem tratar SOCAMM2 como um componente padrão e permutável.

Hyperscalers são os primeiros a adotar. A matemática é direta: SOCAMM2 corta a potência do subsistema de memória anexado à CPU em dois terços enquanto trata offload de KV-cache que anteriormente forçava idas e vindas para camadas mais lentas. Esse ganho de eficiência aparece diretamente no custo total de propriedade. A especificação LPDDR6 futura do JEDEC estende o padrão para casos de uso de data center e computação acelerada, sinalizando que o órgão de padrões vê isso como uma reclassificação permanente em vez de um contorno de nicho.

Para arquitetos construindo stacks de inferência hoje: dimensione HBM para o peso do modelo e pegada de ativação quente, provisione SOCAMM2 para o working set de KV-cache (planeje 2TB por socket com CPUs de 8 canais), e apoie isso com NVMe rápido para persistência de cache frio. O ecossistema SOCAMM2—Micron em módulos, Rambus em chipsets, JEDEC no padrão—agora está avançado o suficiente para que tratá-lo como infraestrutura pronta para produção seja o caminho de menor risco.