训练过程中，数据需要在计算芯片与内存之间频繁传输，而当前大型AI模型的参数规模已达到数百亿甚至数万亿级别，这导致了对大量内存的需求。
随着内存需求的一直增长，如何在有限的设备体积和成本内容纳更高容量的内存，已成为一个挑战。
在配备每插槽TB级DDR5内存的服务器中，DRAM的功耗甚至超过了CPU。
为了应对这一挑战，英伟达设计了基于LPDDR5X内存的Grace CPU，其功耗低于DDR5，同时通过借鉴AMD和英特尔数据中心级处理器的宽内存总线设计，实现了高内存带宽。
但迄今为止，LPDDR DRAM主要是采用[板载（On-Board）]方式，直接焊接在设备主板上，而非模块化设计。
而板载方式的缺点在于一是成本高昂，更换时必须整块主板一起更换。二是缺乏灵活性，不支持升级，更换难度大。
然而，对于基于GB200 Grace Blackwell的系统，英伟达不得不采用焊接式的LPDDR5X内存封装，因为缺乏能够很好的满足其容量需求的标准LPDDR5X内存模块。
据韩国媒体SEDaily报道，英伟达与存储器制造商SK海力士、美光和三星合作，共同打造了一种体积小但效能高的新存储器标准，名为[SOCAMM]。
目前的SOCAMM模组基于LPDDR5X DRAM芯片。与先前的LPCAMM2模组相似，SOCAMM同样采用单面四芯片焊盘、三固定螺丝孔的设计。
然而，与LPCAMM2不同的是，SOCAMM的顶部没有凸出的梯形结构，这降低了其整体高度，使其更适合服务器安装环境和液体冷却系统。
其尺寸仅为行业标准DDR5 RDIMM的约1/3，而得益于高速的LPDDR5X和更宽的位宽，SOCAMM在相同容量下带宽可达到2.5倍，功耗仅为传统方案的1/3。
这也表明，SOCAMM有几率会成为横跨数据中心和AI PC的存储器，具备比HBM更广泛的应用场景。
需要指出的是，SOCAMM与HBM二者并非直接竞争关系，而是互补存在，SoCAMM解决灵活性问题，而HBM通过与GPU的先进封装集成解决极致性能需求。
尽管SOCAMM在速度上不及HBM，但它具备更强的扩展性和灵活性，预计将在英伟达未来的Rubin和Feynman GPU服务器中继续采用。
在英伟达的GB200服务器中，Grace CPU两侧各配备16颗低功耗双倍数据速率动态随机存取存储器（LPDDR DRAM），这些DRAM此前是直接板载焊接的。
但在下一代GB300服务器中，英伟达采用了SOCAMM设计，采用4颗LPDDR组成的SOCAMM模块，共4组。
美光近日表示，SOCAMM解决方案已实现量产，利用4颗16-die堆叠的16Gb LPDDR5X颗粒，实现了128GB容量；
结合128-bit位宽和8533MT/s速率，为更快的AI模型训练和更高的推理并发用户量提供了关键支持。
作为率先宣布量产SOCAMM的美光，在3月20日的财报会上表示：[我们是第一家与英伟达合作，并率先大规模生产SOCAMM的企业。]
SK海力士也在英伟达GTC大会上展示了SOCAMM，并在新闻稿中表示，[SOCAMM已成为AI服务器存储器的新标准，SK海力士将通过该产品展示AI存储器技术的领头羊。]
其SOCAMM的核心参数：单模块容量128GB，由容量为32GB的4颗芯片组成；
采用16颗16Gb LPDDR5X记忆体芯片封装，并采用线键合（Wire Bonding）工艺，而非HBM所使用的TSV（硅通孔）工艺。
三星也不甘落后，其采用LPDDR5X DRAM的可拆卸模块功耗仅9.2W，比DDR5 RDIMM服务器模块节能45%以上。
有传言称，英伟达可能将50%的SOCAMM订单交给美光，剩下的由三星和SK海力士平分。
其中，三星电子率先开发的LPCAMM可将内存占用面积减少60%以上，提高PC或笔记本的内部组件设计自由度，为增加电池容量等腾出更多空间，使内部布局更加高效。
EBN的报告说明，英伟达与内存制造商正在交换SOCAMM原型来测试，并预计在2025年底开始大规模生产。
据EBN称，SOCAMM被视为[下一代]HBM，在小型PC和笔记本电脑中具有优于传统DRAM的性能和能效，这可能是关键所在。
预计SOCAMM的出现将在整个半导体行业产生连锁反应，影响到三星电子、SK海力士等内存厂商，以及Simmtech和TLB等基板公司。
目前，SOCAMM内存技术适用于需要高性能内存支持的场景，如AI计算、高性能计算、数据中心等。
由于其可拆卸升级的特点，SOCAMM内存技术还适用于需要频繁更新硬件设备的领域，如游戏、图形设计、虚拟现实等。
因此，SOCAMM的市场需求将持续增长，特别是在B2B服务器市场和加快速度进行发展的终端设备AI领域。
SOCAMM作为新一代内存技术，需要与其他硬件和软件系统保持良好的兼容性，以确保其能够顺利应用于各种设备和场景中。
然而，市场碎片化可能会引起不同技术标准之间的兼容性挑战，增加了SOCAMM推广和应用的难度。
SOCAMM要经历一个标准化的过程，以确保不同厂商生产的SOCAMM模块之间能够互换使用，降低用户的更换和升级成本。
然而，标准化进程在大多数情况下要时间和多方协商，这可能对SOCAMM的推广速度产生影响。
与此同时，随着内存技术的持续不断的发展，市场上涌现出多种新型内存技术，如DDR5、GDDR6等。
在激烈的市场之间的竞争中，SOCAMM要一直提升其性能、减少相关成本并拓展应用场景，以保持竞争优势。
SOCAMM的生产涉及多个环节和供应链节点，包括原材料供应、生产制造、封装测试等。
任何环节的供应链中断或不稳定都可能对SOCAMM的生产和供应产生一定的影响，进而威胁到其市场应用前景。
随着AI产业的加快速度进行发展，AI设备逐步渗透至日常生活，SOCAMM、LPCAMM、LLW等技术有望成为下一代主流内存方案。
传统DRAM技术已接近物理极限，而HBM、SOCAMM等新型内存技术通过3D集成和接口优化，正逐步成为AI硬件的核心。
部分资料参考：印科技：《三大存储巨头围攻[第二增长曲线]》，电子发烧友网：《英伟达力推SOCAMM内存量产：可插拔、带宽比肩HBM》，AI FPGA 之恋：《英伟达 新标准 SOCAMM 另辟蹊径，解锁 AI PC 内存自由》
原文标题:AI芯天下丨分析丨存储巨头正推进SOCAMM模块，距离爆火还差一把火？
