GPU服务器常见故障排查指南：从入门到精通

GPU服务器故障不用慌，按照这个流程，10分钟定位80%的问题。

第一步：基础状态检查

nvidia-smi

关注：

• GPU利用率（0%可能已掉卡）

• 温度（>90°C散热有问题）

• 功耗（0W或异常偏低）

• 显存使用量

第二步：详细健康报告

nvidia-smi -q -d PERFORMANCE,ECC,POWER,CLOCK

获取：

• ECC错误计数

• 时钟频率

• 电源状态

第三步：系统日志

dmesg | grep -i -E "gpu|nvrm|nvidia|nvlink|xid" journalctl -u nvidia-persistenced --since "1 hour ago"

搜索XID错误代码：

• XID 31：显存页错误

• XID 43：GPU引擎错误

• XID 48：双位ECC错误

• XID 63：PCIe链路错误

快速决策表

诊断工具

• nvidia-smi：核心诊断

• dmesg：内核日志

• ipmitool：BMC日志

• nvidia-smi topo：拓扑

记住：先诊断再动手，避免修错地方。