Qualcomm apresentou sua arquitetura HBC (high-bandwidth compute) near-memory compute, designada para abordar o gargalo memory wall em workloads de AI. A empresa disagrega o acelerador AI do system-on-chip (SoC) e o coloca diretamente sob uma stack DRAM LPDDR, conectado via vias through-silicon. Qualcomm alega que HBC entrega 6x maior bandwidth por watt comparado a HBM (high-bandwidth memory) e mais de 200x capacidade comparado a SRAM on-chip, sem requerer advanced packaging caro ou stacks HBM.
A arquitetura elimina congestionamento e penalidades de custo de high-bandwidth memory combinando densidade DRAM com características de latência SRAM usando standard packaging. Múltiplas stacks HBC podem ser deployed dentro de um único compute device, oferecendo vantagens significativas de performance-por-dólar. HBC estreará com o acelerador AI250 (confiando em 1st Gen HBC, oferecendo 18x aumento de bandwidth sobre o AI200 anterior), seguido por AI300 com 2nd Gen HBC provendo 54x bandwidth scaling.
A abordagem da Qualcomm difere de designs convencionais de DRAM-on-logic colocando dies compute especializados diretamente sob LPDDR stacked, evitando materiais exóticos e packaging de soluções HBM. O acelerador AI200 da empresa é devido para final do ano com 43 TB de RAM por rack usando LPDDR5X. O roadmap reflete a diversificação data center de Qualcomm além de processadores mobile.
Para times de infraestrutura, isto endereça um constrangimento real: crescimento de memory bandwidth caiu atrás de capacidade compute. Reclamações de bandwidth-per-watt do HBC e profile de custo o tornam competitivo para servidores de inferência onde memória é o gargalo. O roadmap multi-geração sinaliza compromisso de Qualcomm em escalar conforme competidores (NVIDIA, AMD, soluções customizadas) também competem em memory efficiency na próxima onda de designs de acelerador.