Docker 容器虚拟化隔离下 GPU 算力分配与资源限制配置

wuyun

在 Docker 容器中实现 GPU 算力的虚拟化隔离和资源限制需要结合 NVIDIA 的工具链（如 `nvidia-docker`）以及容器运行时配置。以下是详细的配置方法和关键步骤：

---

### **1. 前提条件**
- **硬件要求**：支持 GPU 虚拟化的 NVIDIA 显卡（如 Tesla、Quadro RTX 系列，需确认是否支持 MIG 或 vGPU）。
- **驱动与工具**：
  - 安装 NVIDIA 驱动（版本需与 GPU 和 CUDA 工具包兼容）。
  - 安装 `nvidia-docker2`（支持 GPU 透传到容器）。
  - 可选：若使用 MIG（Multi-Instance GPU），需 GPU 支持且驱动版本 ≥ 450.80.02。

---

### **2. GPU 资源分配模式**
#### **a. 整卡分配（默认模式）**
- **特点**：容器独占整个 GPU，适合单任务高性能需求。
- **配置**：
  ```bash
  docker run --gpus all nvidia/cuda:11.0-base nvidia-smi
  ```
  - `--gpus all` 分配所有可用 GPU。
  - 指定具体 GPU ID（如 `--gpus '"device=0"'`）。

#### **b. 计算单元分割（MIG 模式）**
- **适用场景**：将单个物理 GPU 划分为多个虚拟 GPU（vGPU），实现算力隔离。
- **步骤**：
  1. **启用 MIG**：
     ```bash
     sudo nvidia-smi -mig 1  # 启用 MIG 模式
     ```
  2. **创建 MIG 实例**：
     ```bash
     sudo nvidia-smi mig -i 0 -cgi 3g.20gb  # 为 GPU 0 创建 3GB 显存、20% 计算的实例
     ```
  3. **容器绑定 MIG 实例**：
     ```bash
     docker run --gpus '"device=0,mig=3g.20gb#instance1"' ...
     ```

#### **c. 时间片共享（无 MIG 时）**
- **特点**：多个容器共享 GPU，通过时间片轮询分配算力。
- **限制**：无法严格隔离算力，可能受任务负载影响。

---

### **3. 资源限制配置**
#### **a. 显存限制**
- 通过 `NVIDIA_VISIBLE_DEVICES` 和 `nvidia-container-runtime` 隐式控制，但更精细的限制需结合：
  - **MIG**：直接划分显存。
  - **cgroups**（实验性）：通过 `--memory` 限制系统内存，但无法直接限制 GPU 显存。

#### **b. 计算能力限制**
- **MIG**：通过实例配置（如 `3g.20gb` 中的 `20gb` 隐含计算单元比例）。
- **第三方工具**：如 `nvidia-cuda-mps`（多进程服务）或 `vCUDA`（虚拟化 CUDA），但复杂度较高。

#### **c. 使用 `nvidia-container-cli` 配置**
- 通过 JSON 配置文件指定资源：
  ```json
  {
    "Devices": [
      {
        "DeviceID": "0000:01:00.0",
        "Capabilities": ["compute", "utility"],
        "MIGMode": { "Enable": true, "Instance": "3g.20gb" }
      }
    ]
  }
  ```
  - 挂载到容器时通过 `--gpus` 参数引用（需结合运行时配置）。

---

### **4. 监控与调优**
- **监控工具**：
  - `nvidia-smi`：查看 GPU 利用率、显存使用。
  - `dcgm-exporter`：导出 GPU 指标到 Prometheus。
- **调优建议**：
  - 避免显存超分（OOM 风险）。
  - 根据任务类型（训练/推理）调整 MIG 实例大小。

---

### **5. 示例：MIG 容器部署**
```bash
# 启用 MIG 并创建实例
sudo nvidia-smi -mig 1
sudo nvidia-smi mig -i 0 -cgi 3g.20gb

# 启动容器绑定 MIG 实例
docker run -it --rm --gpus '"device=0,mig=3g.20gb#instance1"' nvidia/cuda:11.0-base
```

---

### **6. 注意事项**
- **兼容性**：MIG 仅支持部分 GPU（如 A100、H100）。
- **性能开销**：虚拟化可能引入少量延迟。
- **资源回收**：确保容器退出后释放 MIG 实例（需脚本或编排工具管理）。

---

### **7. 替代方案**
- **Kubernetes + GPU**：通过 DevicePlugin 和 MIG 策略实现集群级隔离。
- **虚拟化平台**：如 VMware vSphere with NVIDIA vGPU 或 Proxmox 的 GPU 直通。

通过合理配置，Docker 容器可以在 GPU 虚拟化场景下实现算力隔离与资源限制，满足 AI 训练、推理等场景的需求。