最新9月4日消息，美国AI芯片初创d-Matrix近日在Hot Chips 2026上详细介绍了其Raptor 3D-DRAM生成式AI推理加速器。该芯片采用台积电N4逻辑裸片与3D-DRAM面对面堆叠的架构，将内存直接置于计算芯片下方。

单张Raptor卡配备32GB 3D-DRAM，带宽超过100TB/s。单个chiplet提供4GB内存和约12.5TB/s带宽，8个chiplet组成一张完整加速卡。相比之下，192GB HBM4配置带宽仅约18TB/s。

在能效表现上，Raptor垂直IO实测仅0.37pJ/bit，约为HBM方案的十分之一。单位面积带宽达32.6GB/s/mm²，是HBM4和英伟达Rubin R200的约20倍；每GB/s功耗仅2.96mW，较HBM方案的40mW改善13.5倍。

Raptor直指AI推理的内存墙困境。大模型解码阶段每个token需反复读取权重和KV缓存，内存带宽是关键瓶颈。64个并发用户在100万token上下文下，KV缓存占用高达935GB。

SRAM（静态随机存取存储器）虽能提供数百TB/s带宽，但容量仅GB级且漏电功耗惊人。HBM虽有高容量，但带宽受封装边缘空间限制，100TB/s带宽下仅内存功耗就达1.92kW。3D-DRAM正好介于两者之间。

Raptor将逻辑裸片直接置于DRAM上方，信号路径缩短至毫米级，无需PHY接口。单层堆叠功率密度控制在0.5W/mm²以下时，可通过液冷将DRAM温度保持在100°C以下。

d-Matrix预计Raptor商用产品将于2027年推出，3D-DRAM能否重塑AI推理内存架构，将取决于其在大规模部署中的实际表现。