Memoria LPDDR y SOCAMM ganan tracción en data centers de IA conforme el suministro de HBM se aprieta

EE Times reporta que la memoria DRAM de bajo consumo (LPDDR) y módulo de memoria comprimida pequeño acoplado (SOCAMM) están ganando adopción en data centers de IA conforme el suministro de memoria de alto ancho de banda (HBM) se vuelve restringido y las cargas de trabajo de inferencia reemplazan el entrenamiento como el patrón de cómputo dominante. LPDDR, originalmente diseñado para smartphones, y SOCAMM, un factor de forma compacto, ofrecen ventajas significativas de eficiencia de potencia: SOCAMM consume un tercio de la potencia de RDIMM DDR5 estándar mientras permite mayor memoria por socket y densidad.

El SOCAMM de 256GB lanzado recientemente por Micron está diseñado para construcciones de servidor denso y descarga KV-cache de HBM, mejorando rendimiento-por-vatio para inferencia y cargas de trabajo de IA en producción. Praveen Vaidyanathan, VP de Cloud Memory Products en Micron, le dijo a EE Times: "La oportunidad para DRAM de bajo consumo en el data center es muy alta. Las cargas de trabajo emergentes como modelos de mezcla de expertos, IA multimodal y sistemas agénticos están aumentando la demanda de memoria cerca del cómputo, y las ventanas de contexto largo se están volviendo más comunes."

La jerarquía de memoria se está reorganizando: Micron posiciona KV cache caliente en HBM, KV cache tibio en DRAM de bajo consumo y KV cache frío en almacenamiento rápido. Rambus anunció de manera similar SOCAMM2, un chipset de módulo de servidor basado en LPDDR para futuros sistemas de IA. Jim Handy, analista principal de Objective Analysis, señala que los operadores a hiper-escala están dispuestos a pagar por eficiencia porque "el rendimiento por vatio es un factor decisivo, especialmente cuando la IA está consumiendo una gran parte del gasto en data center."

Para arquitectos de data center, la adopción de LPDDR y SOCAMM señala un cambio desde estrategias de inferencia solo HBM: un enfoque de memoria por niveles equilibra capacidad, latencia y costo total de propiedad conforme la inferencia se convierte en la carga de trabajo de IA dominante. Este cambio arquitectónico afecta la adquisición de GPU, el abastecimiento de módulo de memoria y los presupuestos de refrigeración/potencia en toda la stack.