近年来，生成式AI的迅猛发展引领了行业变革，尤其是在AI训练领域的突破，推动高带宽内存（HBM）需求急剧增长。然而，AI的广泛普及还需要依赖推理应用的落地，才能真正惠及大众。在AI推理领域，各大巨头与初创企业纷纷提前布局，推动了存储技术的多元化发展，除了HBM外，更多存储芯片与AI推理芯片的结合也迎来了全新市场机遇。
值得注意的是，许多AI推理芯片和存算一体芯片已经开始采用SRAM替代传统的DRAM，以获得更快的访问速度和更低的刷新延迟。
SRAM：AI推理的关键角色
静态随机存取存储器（SRAM）是一种随机存取存储器，其数据在通电状态下可以保持稳定，而无需像动态随机存取存储器（DRAM）那样需要周期性刷新。然而，SRAM断电后数据会丢失，与ROM或闪存等非易失性存储器不同。
SRAM具有以下特点：
高性能：访问速度远快于DRAM。
高成本：由于集成度较低且占用面积较大，同等面积的硅片能制造出更高容量的DRAM。
高功耗：相比DRAM功耗更大。
尽管成本较高，SRAM凭借其无需刷新、响应速度快的优势，广泛应用于CPU的一级和二级缓存。在AI推理中，SRAM因其高速特性，成为优化性能的关键。
Groq LPU：SRAM加持的近存计算
在AI推理浪潮中，Groq公司开发的语言处理单元（LPU）凭借独特架构展现了极高的推理性能。Groq芯片采用14nm制程，集成了230MB的SRAM，片上内存带宽高达80TB/s。这种大容量SRAM设计显著提升了机器学习和人工智能推理的效率。
公司背景：
成立时间：2016年，总部位于美国加州山景城。
核心团队：来源于谷歌早期的TPU工程团队，创始人兼CEO Jonathan Ross曾是谷歌TPU项目的核心研发人员。
发展动态：
2024年8月，Groq完成6.4亿美元融资，由BlackRock领投，思科和三星投资部门参与。
2024年12月，在沙特阿拉伯达曼部署了中东地区最大的AI推理集群，包括19,000个Groq LPU，仅用8天完成上线。
2025年2月，Groq再次从沙特筹集15亿美元融资，用于扩展其AI基础设施。
Axelera AIPU：内存计算与RISC-V的结合
Axelera公司采用创新的内存计算技术，将矩阵存储和计算整合在SRAM中，避免了数据在存储和计算单元之间的频繁移动。这种专有的数字内存计算（D-IMC）技术，通过让存储单元直接参与计算，大幅提升能效和性能。
技术亮点：
数字内存计算：每个SRAM存储单元可同时执行一次乘法和一次累加操作。
RISC-V架构：开源指令集架构提供了灵活的设计空间，支持芯片的高度定制化。
发展动态：
2024年，Axelera获得三星Catalyst基金支持，完成6800万美元融资，总融资额达1.2亿美元。
其芯片以高性能、低成本和低能耗的优势，成为边缘AI计算领域的重要竞争者。
EnCharge AI：模拟存内计算的革新
EnCharge AI开发了一种基于模拟存内计算的新型架构，利用"基于电荷的存储器"通过读取电流进行数据处理。这种设计采用更精确的电容器替代传统半导体，与数字加速器相比，每瓦性能提升了20倍。
技术亮点：
高能效：1瓦功率即可实现8位精度下150 TOPS的AI运算。
存内计算：将计算直接在RAM中运行，减少了延迟。
发展动态：
公司源于普林斯顿大学，创始人兼CEO Naveen Verma是内存计算领域的研究专家。
2025年初，EnCharge AI完成超额认购的1亿美元B轮融资，总融资额达1.44亿美元，计划在2025年实现首款AI加速器产品的商业化。
d-Matrix：数字内存计算（DIMC）架构
d-Matrix采用数字内存计算（DIMC）架构，通过将计算单元与RAM存储器整合，大幅提升计算带宽和效率。其Jayhawk II处理器集成了165亿晶体管，每个芯片包含一个RISC-V核心和多个DIMC单元。
技术亮点：
存算一体：计算单元与存储器的深度集成降低了延迟和能耗。
高性能：其Corsair芯片卡峰值计算能力达2400 TFLOPS（8位精度）。
发展动态：
2024年底，d-Matrix首款AI芯片Corsair开始出货，专注于数据中心和云计算中的AI推理优化。
公司累计融资超过1.6亿美元，投资方包括微软M12、淡马锡和SK海力士。
总结
尽管SRAM成本高昂，但其在AI推理中的低延迟和高性能优势，使其成为关键技术之一。随着AI推理的持续发展，内存计算、存算一体等创新技术不断涌现，推动了存储芯片的多元化发展。未来，除了HBM和SRAM，更多存储技术或将迎来新的市场机会，值得持续关注。
