使用实例状态、GPU 指标、系统日志和业务日志定位性能下降、显存不足和服务异常。
故障定位需要同时观察平台资源状态、GPU 指标、Linux 系统、容器或进程以及业务日志。只看单一 GPU 利用率无法判断训练或推理是否健康。
本文面向使用 Linux GPU 环境进行开发、训练、微调、推理或图形工作负载的工程师和管理员。完成本文后，你应当能够独立完成配置、验证结果，并知道出现异常时应该保留哪些信息。
云资源和模型能力会随区域、库存、模型版本及账号权限变化。页面显示的可用规格、价格、配额和状态是本次操作的直接依据；文档用于解释操作逻辑和风险边界。
先完成以下准备，再进入控制台操作。对生产环境而言，准备阶段还应明确资源负责人、费用归属、数据级别和回滚方式。
按照下面的顺序执行。每完成一步都应检查页面反馈，不要在状态仍为“处理中”时连续提交相同操作。涉及删除、重装、退款、密钥禁用等不可逆动作时，应再次核对资源名称和影响范围。
记录正常任务的 GPU 利用率、显存、功耗、温度、CPU、内存、磁盘和网络范围。
检查实例是否运行、是否发生规格或网络变更、是否有欠费或维护通知。
使用 nvidia-smi、系统日志和资源工具定位驱动异常、OOM、磁盘满、进程退出或 I/O 等待。
用统一时间和请求标识关联训练日志、推理日志、容器日志和调用方错误。
必要时停止新任务、保存检查点或切换替代实例。保留故障现场后再重启。
明确根因、检测缺口和恢复时间，增加容量告警、健康检查或自动降级。
功能能够使用并不等于已经具备生产条件。正式承载业务前，请把可观测性、权限、费用和数据恢复纳入同一套运行基线。
建议为关键资源建立变更记录，至少包含操作者、时间、原因、预期结果、实际结果和回退步骤。团队协作时，不要通过聊天工具传递密码或完整 API Key。
排查时先确认影响对象、开始时间和最近一次变更，再区分是浏览器、账号权限、平台资源、网络还是应用自身问题。提交工单时，请附上资源 ID、请求 ID、发生时间、错误信息和已经执行过的排查步骤；不要提交密码、完整密钥或身份证件原图。
不要连续重复提交。记录实例或资源 ID、开始时间和当前状态，检查是否存在并行变更；超过合理时间后提交工单。
先确认实例状态与购买规格，再运行 nvidia-smi 检查驱动。若系统重装或修改过驱动，请提供命令输出和最近变更。
依次检查实例运行状态、登录凭证、外网防火墙、端口监听和来源地址。不要为了排障把所有端口开放给全网。
离开页面前，逐项确认：
如结果与本文不一致，应停止继续扩大变更范围，通过页面右上角“工单支持”提交问题。