El Módulo SOCAMM2 de Micron Revoluciona la Jerarquía de Memoria para IA

La infraestructura de inferencia de IA ahora se ejecuta en tres niveles distintos de memoria, y la industria está fabricando silicio y estándares para hacer que esa jerarquía funcione. DRAM ya no es una decisión de opción única—es un problema de colocación. HBM maneja el camino crítico; los módulos SOCAMM2 basados en LPDDR absorben la presión del KV-cache tibio cerca de la CPU; NVMe rápido se ocupa del resto. Acertar esa división de tres niveles es lo que diferencia un sistema responsivo de contexto largo de uno que gasta sus ciclos persiguiendo datos.

La causa inmediata es la fragmentación de la demanda. Los modelos Mixture-of-experts, las cargas de trabajo multimodales y los sistemas agentic están empujando ventanas de contexto más largas y caches KV más grandes en el mismo momento en que la oferta de HBM está prácticamente comprometida. "El HBM está comprometido debido a IA, y por supuesto eso presiona la DRAM," le dijo Jim Handy, analista principal de Objective Analysis, a EE Times. Esa presión está redirigiendo LPDDR—una categoría de memoria diseñada para mantener los teléfonos inteligentes vivos con una sola carga. Sus características (voltaje bajo, ancho de banda alto por pin, die compacto) se traducen bien en racks de servidores densos donde los presupuestos térmicos y de energía son ajustados.

Micron envió muestras de clientes de su módulo SOCAMM2 de 256GB en marzo de 2026. El módulo utiliza un die monolítico LPDDR5X de 32Gb—primero en la industria—64 por módulo—entregando 2TB de LPDRAM por socket CPU de 8 canales con ocho instalados. En comparación con RDIMMs equivalentes, SOCAMM2 consume un tercio de la potencia y un tercio del espacio (14x90mm versus RDIMM estándar de servidor). En cargas de trabajo de descarga de KV-cache, Micron reporta una mejora de 2,3x en el tiempo hasta el primer token para inferencia de contexto largo en tiempo real. Las cargas de trabajo solo de CPU ven un desempeño 3x mejor por vatio versus memoria de servidor convencional. La generación anterior de 192GB entregaba menos capacidad; 256GB permite que configuraciones de 8 sockets alcancen 2TB sin agregar ranuras.

La jerarquía de memoria que Micron está diseñando es explícita. Praveen Vaidyanathan, VP y GM de Productos de Memoria en la Nube en Micron: "El KV-cache caliente permanece en HBM, el KV-cache tibio permanece en DRAM de bajo consumo, y el KV-cache frío va al almacenamiento rápido." SOCAMM2 ocupa el nivel tibio—suficiente ancho de banda para evitar que la GPU se estanque al procesar prompts, suficiente capacidad para mantener el conjunto de trabajo de una sesión de contexto largo sin desalojar a NVMe a mitad de solicitud.

Hacer que LPDDR funcione en una ranura de servidor no es trivial. En dispositivos móviles, los dies LPDDR se sueldan a milímetros del procesador; las largas distancias de enrutamiento destruyen los márgenes de señal a velocidades LPDDR5X. SOCAMM2 resuelve esto con un factor de forma compression-attach que se monta a ras de la placa base, preservando trayectos de señal cortos y permitiendo diseños de servidores enfriados por líquido. Rambus anunció su chipset SOCAMM2 el 22 de abril de 2026—el primero en una familia planeada de chipsets de módulos de servidor basados en LPDDR—proporcionando el SPD Hub, telemetría y reguladores de voltaje en módulo (12A y 3A) que LPDDR5X necesita para ejecutarse de manera confiable hasta 9,6 Gb/s en un módulo separable. Sin ese chipset, los vendedores de servidores no pueden tratar SOCAMM2 como un componente estándar e intercambiable.

Los hyperscalers son los primeros en adoptar. La matemática es sencilla: SOCAMM2 reduce la potencia del subsistema de memoria conectado a la CPU en dos tercios mientras maneja la descarga de KV-cache que anteriormente forzaba viajes de ida y vuelta a niveles más lentos. Esa ganancia de eficiencia se refleja directamente en el costo total de propiedad. La especificación LPDDR6 próxima de JEDEC extiende el estándar a casos de uso de centros de datos y computación acelerada, señalando que el órgano de estándares ve esto como una reclasificación permanente en lugar de una solución alternativa de nicho.

Para arquitectos que construyen stacks de inferencia hoy: dimensiona HBM según el peso del modelo y la huella de activación caliente, provisiona SOCAMM2 para el conjunto de trabajo de KV-cache (planifica 2TB por socket con CPUs de 8 canales), y respalda eso con NVMe rápido para persistencia de caché frío. El ecosistema SOCAMM2—Micron en módulos, Rambus en chipsets, JEDEC en el estándar—está ahora lo suficientemente avanzado como para que tratarlo como infraestructura lista para producción sea el camino de menor riesgo.