首页/AI/大模型部署与运维速查/MPS 多进程服务概念
本包目录(267 条)
部署形态与选型43 条
推理环境与 GPU50 条
推理参数与优化50 条显存与并发估算40 条服务化与网关34 条运维监控与排障50 条

MPS 多进程服务概念

MPS(Multi-Process Service)允许同一张卡上多个进程共享 GPU 计算资源,适合多进程小任务并发的场景;它做的是资源复用而非硬隔离,与 MIG 定位不同。

启用 MPS(示意)

启用 MPS(示意)
nvidia-cuda-mps-control -d          # 启动守护进程
echo get_server_list | nvidia-cuda-mps-control
echo quit | nvidia-cuda-mps-control  # 停止
适合同卡多进程、小批量并发任务
不适合强隔离与计费隔离需求(用 MIG)
限制需要统一版本环境与配置约定
容器场景一般由推理框架自身调度多请求;MPS 更多用于多个独立小进程共用一卡的部署。

易错点

  • MPS 与 MIG 同时配置在同一张卡上时行为受限:两种机制不要混用

数据来源与参考

  • NVIDIA MPS 文档(docs.nvidia.com/deploy/mps)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌