首页 > IT资讯>告别重复计算!中科曙光将发布大模型词元加速方案

告别重复计算!中科曙光将发布大模型词元加速方案

快科技IT资讯2026-08-27 07:57:28
赛迪顾问最新《中国分布式存储市场研究报告(2026)》显示,中科曙光在AI、教育、具身智能和自动驾驶四个行业位居中国市场第一,其中AI存储连续三年居首。报告提出,以KV Cache为代表的AI原生...

赛迪顾问最新《中国分布式存储市场研究报告(2026)》显示,中科曙光在AI、教育、具身智能和自动驾驶四个行业位居中国市场第一,其中AI存储连续三年居首。

报告提出,以KV Cache为代表的AI原生数据正在成为存储系统的新型负载。随着长上下文、多轮交互和高并发推理增多,KV Cache规模持续扩大,不仅占用大量GPU显存,中间结果调度和复用不畅还可能导致重复计算,影响模型响应速度及集群并发能力。

据悉,中科曙光将针对推理侧出现的新问题,于2026数博会期间发布基于存算协同设计的全新词元加速方案,该方案在长上下文多轮对话、高并发推理服务、轻量级硬件部署等核心AI推理场景的实际应用中,均取得突破性进展。


 

 

《告别重复计算!中科曙光将发布大模型词元加速方案》转载自互联网,如有侵权,联系我们删除,QQ:369-8522。

本文网址:https://www.jsj.wang/2026/08/17877886857713.html

相关图文