折算思路
折算思路
单图 token 数 = f(分辨率, 切图策略)
图 token 的 KV 成本 = 图 token 数 × bytes/token(同文本公式)
+ 视觉编码器权重与激活多图请求把图 token 计入窗口:并发评估按「文本 + 图」的总 token 计算。
多模态模型还要算视觉开销:编码器权重与激活、图像 token 化后进入上下文的 KV、预处理缓冲;图 token 随分辨率增长,按「等效文本 token」折算。
单图 token 数 = f(分辨率, 切图策略)
图 token 的 KV 成本 = 图 token 数 × bytes/token(同文本公式)
+ 视觉编码器权重与激活