nvidia-smi 命令

news/2026/1/19 21:12:23/文章来源:https://www.cnblogs.com/aibi1/p/19503712

1️⃣ 顶部信息
2️⃣ GPU 列表
3️⃣ 进程列表
4️⃣ 总结

+-----------------------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=========================================================================================|
| 0 N/A N/A 9635 C VLLM::EngineCore 23430MiB |
+-----------------------------------------------------------------------------------------+

你贴的这个 nvidia-smi 输出显示了你当前 RTX 4090 GPU 的使用情况。下面我给你详细解释每一部分：

1️⃣ 顶部信息

NVIDIA-SMI 580.105.08   Driver Version: 580.105.08   CUDA Version: 13.0

NVIDIA-SMI 版本：580.105.08，这是工具本身的版本。
驱动版本：580.105.08，显示了 GPU 驱动版本。
CUDA 版本：13.0，你系统上安装的 CUDA 版本，和你的深度学习框架（PyTorch / TensorFlow）要匹配。

2️⃣ GPU 列表

| GPU  Name                 Persistence-M | Bus-Id          Disp.A | Volatile Uncorr. ECC |
| Fan  Temp   Perf          Pwr:Usage/Cap |           Memory-Usage | GPU-Util  Compute M. |

这里是显卡的状态概览，每列解释如下：

列名	说明
GPU	GPU 序号（0 开始）
Name	GPU 名称（NVIDIA GeForce RTX 4090）
Persistence-M	是否开启持久模式（保持驱动加载状态）
Bus-Id	GPU 在 PCIe 总线的位置
Disp.A	显示器是否连接（Off 表示没连接）
Volatile Uncorr. ECC	ECC 错误计数（你显卡没开 ECC，所以显示 Off）
Fan	风扇转速百分比
Temp	GPU 温度（36°C）
Perf	当前性能状态（P8 表示空闲/低功耗状态）
Pwr:Usage/Cap	当前功耗 / 最大功耗（13W / 450W）
Memory-Usage	GPU 显存使用情况（23439MiB / 24564MiB）
GPU-Util	GPU 利用率（0% 表示几乎没计算负载）
Compute M.	计算模式（Default）
MIG M.	多实例 GPU 状态（RTX 4090 不支持 MIG，显示 N/A）

关键点：

显存几乎满了：23439MiB / 24564MiB (~95%)
GPU 利用率几乎为 0%，说明显卡主要在占显存，但没有大量计算。

3️⃣ 进程列表

| GPU   GI   CI  PID    Type   Process name           GPU Memory |
| 0     N/A  N/A 9635   C      VLLM::EngineCore      23430MiB |

解释：

GPU：使用的 GPU 序号（0）
PID：进程号（9635）
Type：类型，C 表示计算（Compute）
Process name：进程名，这里是 VLLM::EngineCore，说明你在运行 vLLM 的推理引擎
GPU Memory：该进程占用的显存（23430MiB）

结论：

你当前的 vLLM 进程几乎占满了整个 24GB 显存。
但是 GPU 利用率为 0%，说明目前 vLLM 没有在做推理或者推理正在等待输入。

4️⃣ 总结

GPU 型号：RTX 4090，24GB 显存
显存使用：几乎满（23430/24564 MiB）
GPU 计算利用率：0%，说明目前主要占显存，不在计算
运行进程：vLLM 引擎，占满显存
温度正常（36°C），功耗很低（13W）

如果你希望我顺便帮你分析 为什么显存满但 GPU 利用率低，以及 怎么做性能优化，我可以给你详细建议。

你希望我帮你分析这个吗？

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/1185116.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！