稳定性翻车!RTX PRO 6000曝Linux驱动Bug:FP32训练频发GPU锁死
最新9月2日消息,在NVIDIA开发者官方论坛,有用户反馈RTX PRO 6000 Blackwell(GB202,96GB)专业工作站显卡在Linux系统持续AI计算负载下会反复触发Xid-8 RC看门狗报错,GPU出现锁死现象,该问题同时复现于595.84、610.43.02两个开源内核驱动版本。
测试硬件平台为Raptor Lake桌面主机,系统Ubuntu 24.04,内核7.0.0-30-generic,开启Secure Boot,使用Canonical签名的NVIDIA开源GSP内核模块。
测试显卡为RTX PRO 6000 Blackwell,同时主机还搭载一块RTX 4090作为对照组,显卡功耗墙分别测试默认600W以及450W限制,两种功耗设置均会触发故障。

故障日志特征固定,RC看门狗检测GPU疑似锁死,超时7秒,抛出Xid 8错误,关联进程为llama-server或python3 AI计算进程,上层应用收到CUDA报错:launch timed out and was terminated。
比较幸运的是,该故障无需重启整机,显卡大约15秒就可以自动恢复,没有出现硬件损坏、数据损坏情况。
该故障最早在8月18日开始出现,累计复现13次,主要两类工作负载会触发,一是llama.cpp长上下文多Token推理,启用CUDA Graph。二是PyTorch FP32精度4B/9B大Transformer模型纯Eager模式训练。
在GPU满载持续压测的条件下,大约每20-45分钟就会复现一次,FP32稠密训练是复现概率最高的场景。

与此同时用户做了大量隔离排查,排除多项诱因:
1、关闭CUDA Graph可以缓解llama.cpp推理场景的报错,但PyTorch训练场景本身没有使用CUDA Graph依旧会锁死,说明CUDA Graph只是放大问题的诱因,并非根源。
2、升级/降级驱动版本:595.84、610.43.02开源驱动,报错特征、故障频率没有变化。
3、ECC纠错全部归零,没有行重映射报错。
4、排除温度因素:故障发生时最高温度仅87℃,甚至从空闲升温到51℃就会触发故障。
5、排除显存不足:故障发生时剩余显存大于55GB。
6、功耗墙无关,450W、600W两种功耗限制均复现。
7、故障具备随机性,相同输入、干净重启后,崩溃发生位置不固定。
对比测试数据显示,同一台主机、完全相同驱动版本,RTX 4090(AD102)跑完全一样的FP32训练任务,连续26912步、合计5.35小时零报错。
而同机的RTX PRO 6000 Blackwell在相近负载下一晚上锁死5次,可以确定问题根源出在GB202这一代GPU上。

而且补充测试发现,BF16精度27B大模型训练、推理,连续8小时GPU满载没有复现故障。结合现象,该Bug和内核提交密度、单个Kernel执行时长存在关联,FP32高负载更容易触发。
发帖用户向NVIDIA反馈,怀疑是GB202平台GSP-RM内核、通道调度逻辑在高密度Kernel提交下存在已知缺陷,已经抓取故障发生一分钟内的完整nvidia-bug-report日志,可在一小时内稳定复现该问题。
《稳定性翻车!RTX PRO 6000曝Linux驱动Bug:FP32训练频发GPU锁死》转载自互联网,如有侵权,联系我们删除,QQ:369-8522。
相关图文
-
存储暴涨厂商赚翻天!SSD五大厂营收翻倍:国产厂商有望改写格局
快科技9月3日消息,据TrendForce最新报告,受出货量增长和合约价格上涨双重驱动,2026年第二季度全球前五大企业级SSD厂商合计营收达到375.9亿美元,环比暴涨103.6%。具体来看,前五大厂商合计... -
紫光闪芯发布E5300企业级PCIe 5.0 SSD:顺序带宽最高可达14GB/s
快科技9月3日消息,紫光闪芯近日推出新一代企业级PCIe 5.0 SSD E5300产品系列。该系列采用国产主控搭配SK海力士3D eTLC闪存颗粒,充分发挥PCIe 5.0协议传输能力,在顺序带宽、随机性能、延迟控... -
1亿IOPS性能紧追内存 铠侠28年将推AI SSD:还可与NVIDIA显卡互通
快科技9月3日消息,AI对存储技术的需求不只是DRAM内存,NAND闪存的重要性也日益凸显,三星海力士等公司在搞HBF,日本的铠侠公司也准备推出性能看齐内存的AI闪存。铠侠的超高性能闪存芯片以自家... -
领先17倍却卡在散热!AMD混合键合3D DRAM:能效碾压HBM、商用却遥遥无期
快科技9月2日消息,AMD近日在内部技术研讨会上披露了一项令人振奋的实验数据:基于混合键合(Hybrid Bonding)技术的3D DRAM架构,其能效相比传统HBM堆栈最高可提升17倍。这意味着在相同功耗下,... -
较十年前翻8.6倍!DDR4内存价格暴涨:比DDR5还贵
快科技9月2日消息,据TrendForce最新数据显示,8月份标准8GB DDR4内存芯片的合约价已攀升至25美元(约人民币178元),目前的报价已是2016年有记录以来的8.6倍。这种异常的价格涨幅,主要原因就...












