首页/AI/大模型部署与运维速查/MIG 切片的显存预算

MIG 切片的显存预算

MIG 按档位给固定显存与算力:预算直接按切片规格算(如 1g.10gb 量级的档位),不共享整卡 KV 池;隔离性好但弹性差。

查看与创建(示意)

查看与创建(示意)
nvidia-smi mig -lgip            # 列出切片规格与显存
nvidia-smi mig -cgi <profile>   # 创建指定规格(细节以官方文档为准)
切片内并发按切片显存重新估算:窗口与批参数都要随之下调。

易错点

  • 按整卡经验配置切片服务:并发一路溢出到 OOM

数据来源与参考

  • NVIDIA MIG 用户指南(docs.nvidia.com/datacenter/tesla)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌