据韩国媒体报道，已被英伟达实际收购的人工智能半导体企业Groq，计划在其下一代芯片中应用一种三维堆叠式DRAM封装技术。这一动向被外界解读为，Groq正试图摆脱当前以SRAM为核心的芯片设计思路——SRAM虽速度快但容量有限——从而显著提升芯片存储容量。

Groq采用的技术被称为3DS（三维堆叠式存储器）。这是一种高密度封装方案，通过硅通孔（TSV）将DRAM芯片垂直连接。尽管它与高带宽存储器（HBM）类似，都使用TSV，但3DS的侧重点不同：HBM专注于数据传输速度，而3DS则致力于在维持现有DRAM接口的同时扩大容量。

一位半导体行业内部人士透露，“Groq计划在其下一代芯片中引入3D封装技术”，并补充说，“这项技术涉及堆叠DRAM，而非现有的SRAM。”业内人士将Groq此举解读为旨在大幅提升芯片容量。SRAM速度快但容量有限，而DRAM速度相对较慢，却更适合实现大容量芯片。

从这一消息可以看出，3D DRAM似乎正成为行业发展的必经之路。

SRAM的容量增长，已经跟不上模型扩张

作为另一赛道上英伟达的竞争者，d-Matrix的技术路线转变——从SRAM计算演进至3D堆叠DRAM——很好地诠释了Groq这一转变的原因。因为此前，Groq的解决方案同样采用SRAM。

在早前接受Tae Kim采访时，d-Matrix公司CEO Sid Sheth表示，公司最初推出的Corsair采用SRAM作为计算架构的一部分。据Sheth解释，d-Matrix在选择存储技术时主要考虑两个因素：一是存储器必须支持灵活编程，以适应数据中心不断变化的工作负载；二是计算结果需具备数字电路所要求的可预测性和准确性。基于这些考量，公司选择了SRAM。

SRAM的优势在于支持高速、低延迟的数据访问，因此适合对交互速度要求较高的AI推理任务。但随着模型规模和上下文长度持续增长，SRAM的容量扩展能力开始成为瓶颈。

Sheth指出，SRAM与逻辑芯片采用相同的逻辑工艺，其容量增长也受到晶体管缩放速度放缓的影响。他在采访中给出的对比是，SRAM容量每两年仅能增加约10%至20%，而模型规模可能每六至九个月就翻一番。

这意味着，单纯依赖SRAM，越来越难以同时满足模型对内存容量和带宽的需求。

问题的关键不仅在于SRAM成本高，更在于其容量增长速度已难以匹配AI模型的扩张速度。若继续沿用原有架构，即使计算能力不断提升，也可能因内存资源不足而无法充分发挥性能。

因此，d-Matrix需要寻找一种新的存储器扩展方式：既保留SRAM在高速访问方面的优势，又引入更大容量的存储资源。这促使他们转向3D DRAM。

所谓3D DRAM，指的是沿垂直方向存储比特的架构，类似于3D NAND。

从设计上看，3D DRAM堆叠技术将DRAM置于处理器之上，实现了更紧凑的设计，从而提升数据传输效率。这反过来使AI处理器能够处理更大模型并更快生成结果，为未来AI硬件的持续扩展铺平道路。

3D DRAM堆叠技术的一些显著优势包括提升带宽、降低延迟和提高能效，这些对人工智能的未来发展至关重要。此外，空间利用率也同样重要，因为堆叠芯片让设计人员能在更小空间内集成更多功能，这对于移动设备和可穿戴设备等应用尤为关键。人工智能系统需处理的数据量越来越大，因此减少数据传输距离对提升性能并保持高质量结果至关重要。

3D DRAM的关键，不只是增加内存容量

关于Groq的3D DRAM方案，由于缺乏足够资料，我们在此无法深入展开。考虑到此前有传言称英伟达考虑收购或投资d-Matrix，在接下来的文章中，我们将分析其解决方案，以了解这一转变背后的多层原因。

据介绍，在3D DRAM方面，d-Matrix提出的方案是将定制DRAM裸片与SRAM计算裸片进行3D堆叠封装。

Sheth特别强调，这并非传统意义上的HBM方案。据他介绍，Raptor采用两个不同的裸片：一个是逻辑计算裸片，另一个是DRAM裸片。前者由台积电制造，后者由台湾力积电（PSMC）制造，随后通过封装厂采用Chip-on-Wafer（CoW，晶圆上芯片）技术进行集成。

这种架构的意义，首先体现在内存容量的扩展上。通过增加一层DRAM，d-Matrix可在保留原有SRAM计算架构的基础上，提供更多存储空间。

但在Sheth看来，更值得关注的是3D堆叠带来的数据访问方式变化。

传统GPU与HBM的组合，虽已通过先进封装实现较高内存带宽，但计算芯片与HBM之间的数据连接仍受物理布局和连接界面的限制。Sheth将其形象地描述为只能利用存储器或GPU的“临海地带”访问数据，即真正用于连接和传输数据的界面有限。

而在d-Matrix的方案中，计算裸片与DRAM裸片上下堆叠，DRAM可利用更大表面区域与计算部分建立数据连接，使数据直接向下传输到计算单元。

换句话说，3D DRAM并非只是将更多存储器置于芯片附近，而是试图改变内存与计算之间的连接关系，为提升数据传输带宽创造条件。

这也是d-Matrix将其视为下一代推理架构重要突破的原因：它希望同时解决内存容量不足和数据访问带宽受限的问题，而非仅改善其中一项。

需要注意的是，以上是Sheth对架构设计思路的解释，并不意味着3D DRAM已在所有性能指标上超越HBM。实际表现仍取决于具体设计、封装实现和产品验证。

如果仅从内存容量和带宽来理解3D DRAM，仍不足以解释d-Matrix为何采用这条技术路线。在采访中，Sheth提出了一个重要区分：AI推理芯片的竞争，存在吞吐量与交互性之间的权衡。

吞吐量关注单位时间内能完成多少工作；交互性则关注用户发出请求后，系统能多快给出响应。两者相关，却并非同一指标。

以GPU为代表的HBM方案，在高吞吐量任务上具有优势，适合处理大量并行工作负载。d-Matrix并不认为自己要在所有场景中取代GPU，而是希望服务于另一类需求：对响应延迟特别敏感的AI应用。

Sheth表示，d-Matrix采用SRAM与3D堆叠DRAM的组合，优先优化内存带宽，其次才是内存容量，希望在吞吐量与交互性的权衡曲线上占据不同位置。

这一定位与AI应用的变化密切相关。

在批量处理任务中，系统可通过一次处理大量请求来提高整体效率。但在编程智能体、网络安全智能体和语音交互助手等场景中，用户或其他智能体需持续与模型交互，等待时间会直接影响体验。

尤其是智能体应用，其工作过程往往不是一次性生成结果，而是反复进行推理、调用工具、读取信息并作出下一步决策。响应延迟越低，整个交互过程就越流畅。

因此，d-Matrix押注的不是所有AI计算任务，而是那些需要快速响应、持续交互的推理负载。

Sheth在采访中预计，未来70%至80%的AI应用会对延迟敏感。这是他对市场发展的判断，而非已得到验证的行业统计数据。

写在最后

虽然是一项被高度看好的技术，但正如应用材料在其博客中所说，DRAM的速度几乎是NAND的1000倍，其高速性能的实现得益于使用高迁移率硅衬底作为沟道的初始材料。DRAM的高速性能还源于电荷可快速在电容器中移动，而随着DRAM在垂直方向上的不断扩展，需要新的材料创新来实现高迁移率和超低缺陷的沟道。

Rambus专家在一篇博客中也指出，将内存和处理器堆叠在一起时，良率和可靠性也是需要考虑的问题。如他所说，在堆叠结构中，任何一层出现缺陷都可能影响整个堆叠结构，从而降低制造良率并增加成本。这就凸显了维修和冗余资源的重要性，它们能提高制造可靠性，从而改善良率并降低生产成本。

设计3D堆叠式内存也更具挑战性，因为工程师必须考虑内存如何与处理器和加速器交互，以优化性能和能效。这些挑战，加上更高的封装成本，意味着尽管堆叠式内存是人工智能的强大解决方案，但要有效实施，需要周密的规划和大量投资。

半导体行业一直在努力应对这些挑战，并取得了一系列进展，这些进展将有助于实现未来超级芯片的愿景。内置自测试（BIST）措施、先进的EDA工具、光互连和人工智能辅助设计等，都是为应对这些挑战并提高芯片效率而持续努力的例证。随着行业在堆叠技术方面积累更多经验，与垂直集成芯片的调试和验证相关的挑战将通过新方法得到解决，从而降低成本并提高良率。

最后，值得一提的是，国内也有多家厂商在3D DRAM这个赛道竞逐，例如九游体育等，你知道还有哪些吗？欢迎大家在留言区对这个技术的现状和未来进行更广泛的讨论！

本文来自微信公众号“半导体行业观察”（ID：icbank），作者：编辑部，36氪经授权发布。