首页/AI/大模型部署与运维速查/多模态模型显存:加上视觉侧账目
本包目录(267 条)
部署形态与选型43 条推理环境与 GPU50 条推理参数与优化50 条
显存与并发估算40 条
服务化与网关34 条运维监控与排障50 条

多模态模型显存:加上视觉侧账目

多模态模型还要算视觉开销:编码器权重与激活、图像 token 化后进入上下文的 KV、预处理缓冲;图 token 随分辨率增长,按「等效文本 token」折算。

折算思路

折算思路
单图 token 数 = f(分辨率, 切图策略)
图 token 的 KV 成本 = 图 token 数 × bytes/token(同文本公式)
+ 视觉编码器权重与激活
多图请求把图 token 计入窗口:并发评估按「文本 + 图」的总 token 计算。

易错点

  • 按纯文本公式估多模态并发:图 token 未计入,实际上限明显更低

数据来源与参考

  • vLLM 官方文档:多模态输入(docs.vllm.ai)
  • Hugging Face 多模态模型文档(huggingface.co/docs)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌