vllm单机多卡（无Ray）部署架构

目录

• 部署架构图
  • 1️⃣ 前提条件
  • 2️⃣ 多实例部署逻辑
  • 3️⃣ 注意事项

在单 GPU 服务器上，如果单个 Qwen14B 模型实例需要 2 张 GPU，那么必须启动 4 个独立模型服务，每个服务绑定 2 张 GPU 并监听独立端口。这样才能充分利用 8 张 GPU 的算力，同时保证每个实例的 KV Cache 和 batch 独立管理。

---

部署架构图

================ 8 GPU 服务器 =================
| GPU0 | GPU1 | GPU2 | GPU3 | GPU4 | GPU5 | GPU6 | GPU7 |
====================================================部署 4 个模型实例，每个实例占用 2 张 GPU：┌─────────────┐    ┌─────────────┐    ┌─────────────┐    ┌─────────────┐
│ model_1     │    │ model_2     │    │ model_3     │    │ model_4     │
│ GPU0 + GPU1 │    │ GPU2 + GPU3 │    │ GPU4 + GPU5 │    │ GPU6 + GPU7 │
│ Port: 8000  │    │ Port: 8001  │    │ Port: 8002  │    │ Port: 8003  │
└─────────────┘    └─────────────┘    └─────────────┘    └─────────────┘说明：
- 每个模型实例独立维护 KV Cache 和 batch。
- 上层请求通过不同端口访问对应实例。
- 没有 Ray 时，每个实例完全隔离。

1️⃣ 前提条件

• 服务器：8 张 GPU（48G L40S）
• 模型：Qwen 14B 原生大模型
• 模型显存需求：2 张 48G GPU 才能完整加载一个实例
• 没有 Ray / 异构调度

---

2️⃣ 多实例部署逻辑

1. 每个模型实例绑定 GPU

• 模型占用 2 张 GPU → 每个实例只能用 2 张
• 服务器总 GPU 8 张 → 最多部署 4 个模型实例

2. 不同端口暴露服务

• 每个模型实例对应 一个独立端口
• 每个端口监听请求 → 分配到该实例管理的 2 张 GPU
• 这样每个实例维护自己的 KV Cache 和 batch

3. 示意

模型实例	GPU 绑定	服务端口
model_1	GPU0 + GPU1	8000
model_2	GPU2 + GPU3	8001
model_3	GPU4 + GPU5	8002
model_4	GPU6 + GPU7	8003

上层业务调用不同端口，就对应不同 GPU 资源，互不干扰。

---

3️⃣ 注意事项

• KV Cache：每个实例独立，无法跨实例共享（没有 Ray 时）
• 负载均衡：上层业务或网关需要根据请求量分配到不同端口
• Batch / Sequence 长度：每个实例独立管理

---