启用 MPS(示意)
启用 MPS(示意)
nvidia-cuda-mps-control -d # 启动守护进程
echo get_server_list | nvidia-cuda-mps-control
echo quit | nvidia-cuda-mps-control # 停止| 适合 | 同卡多进程、小批量并发任务 |
|---|---|
| 不适合 | 强隔离与计费隔离需求(用 MIG) |
| 限制 | 需要统一版本环境与配置约定 |
容器场景一般由推理框架自身调度多请求;MPS 更多用于多个独立小进程共用一卡的部署。