2000 Tokens/s!寒序科技推出国产LPU推理芯片:让权重不再“搬家”
最新8月31日消息,寒序科技今日正式公布uHBM与uLPU推理计算架构,成为国内首家将MRAM磁存储与计算单元深度整合的芯片公司。其核心思路是:与其把存储和计算之间的路修得更宽,不如让权重直接“住”在计算单元旁边。
大模型推理进入Decode阶段后,每生成一个Token,数十亿颗权重都要被反复读取。寒序科技的方案是将模型权重长期驻留在Persistent MRAM阵列中,在同一颗Compute-Memory Die内完成矩阵-向量运算,系统只传递低维激活向量。

首代uHBM架构片内权重读出带宽设计值最高24TB/s。面向4B多模态主干模型,uLPU的Decode性能目标超过2000 Tokens/s。
产品形态方面,寒序规划了从uHBM-Die、uLPU-Chip到Module、2U Tray和Rack的完整路线。

端侧产品uLPU Edge由uHBM与NPU协同,面向机器人等物理AI场景;云端uLPU Cloud通过UCIe实现片间扩展,借助112G/224G SerDes构建机柜级系统。首代完整工程产品已进入流片前收敛阶段。
寒序科技成立于2023年8月,孵化于北京大学应用磁学中心。其验证芯片SpinPU-ED01已回片,集成120个MRAM Bank,实测片上访存带宽密度达0.105 TB/(mm²·s),并完成端到端模型推理与连续24小时稳定运行。

值得一提的是,24TB/s和2000 Tokens/s目前仍是架构设计值,完整性能、功耗和模型兼容性还需等首代工程产品流片实测才能确定。
寒序科技方面表示,验证芯片回答了“这条路能不能走”,接下来两年的核心任务是把架构真正做成可量产的产品。

《2000 Tokens/s!寒序科技推出国产LPU推理芯片:让权重不再“搬家”》转载自互联网,如有侵权,联系我们删除,QQ:369-8522。
相关图文
-
美光扔出王炸!DDR6带宽暴涨2倍 400层NAND量产
快科技10月22日消息,据报道,美光近日在2026年OCP峰会上公布下一代存储技术路线图,覆盖DDR6、LPDDR6、vHBM及G11 NAND四大方向,多项指标较上代实现翻倍级提升。DDR6的带宽预计达到DDR5的两... -
内存越堆越烫!SK海力士把散热件塞进夹层:热阻降低30%
快科技10月22日消息,SK海力士的下一代高带宽内存(HBM)定名iHBM,思路是把散热结构直接做进内存封装内部,不再只靠外置的散热器和冷板把热带走。HBM难散热是结构决定的,多层DRAM(动态随机... -
DIY寒冬将至!2027年PC内存更难买也更贵:产能全被AI吃了
快科技10月22日消息,据集邦咨询最新研究报告,2027年PC内存供应可能进一步收缩,原因是存储厂商持续将产能向AI加速器所需的高带宽存储器及数据中心其他存储产品倾斜。这或将推高面向消费者的... -
突发!美光桃园工厂刚刚宣布今起罢工24小时:内存恐再涨价
快科技10月22日消息,据报道,美光在中国台湾地区的劳资协商出现分化:台中工会昨日与公司达成协议并撤回调解,桃园工会则因利润分享方案未获具体回应,于今日上午9点启动24小时罢工。与台中... -
你还在纠结32GB还是64GB内存:单条1TB DDR6已经公布!
快科技10月22日消息,美光在2026年OCP峰会上公布了下一代存储技术路线图,涉及DDR6、LPDDR6、HBM与G11 NAND四条产品线。其中DDR6被定位为面向高可靠性服务器市场,美光称其带宽将达到DDR5的两...












