每百万 token 成本怎么算
自建成本核算的关键是把固定成本摊到实际产出上：先算每小时的综合成本（含折旧、电费与机房分摊），再测实际吞吐（每秒输出 token 数），两者相除就得到每 token 成本，乘一百万得到报价常用的口径。这里的吞吐必须是实测值，估算出来的吞吐会让结论偏离很远。
测算公式与示例
测算公式与示例
# 每小时综合成本：折旧按可服务小时数摊算
每小时成本 ≈ GPU 采购价 ÷ 折旧小时数 + 电费 + 机房分摊
# 每百万 token 成本：用实测吞吐代入
每百万 token 成本 = 每小时成本 ÷ (实测 tokens/s × 3600) × 1000000
# 示例：每小时成本按 5 元、实测吞吐 1500 tokens/s 计
# 5 ÷ (1500 × 3600) × 1000000 ≈ 0.93 元 / 百万 token
# 再用平均利用率校正：算出来的数字要除以实际利用率才接近真实输入项与口径
| 输入项 | 口径要求 | 常见偏差 |
|---|---|---|
| 折旧时长 | 按可服务年限与每天运行小时数折算 | 按全天满负荷折算，低估成本 |
| 实测吞吐 | 稳定态、目标并发下的输出 token 速率 | 用单请求峰值代替并发吞吐 |
| 利用率 | 按业务实际到达率折算 | 忽略波谷，成本被低估 |
| 输入输出分开计 | 输入与输出的算力成本不同 | 混在一起与实际计费口径不符 |
典型使用场景
- 自建与云 API 对比：把单位成本与云端报价放在同一口径下比较
- 定价与内部结算：给业务方一个可追溯的成本基准
- 扩容决策：判断新增卡带来的边际成本与收益
- 方案优化：比较量化、缩短输出上限等手段对单位成本的影响
- 预算编制：按预测调用量换算月度成本，纳入财务计划
输入与输出 token 的算力成本不同：多数对外报价也分开计，测算时分开统计更接近真实成本结构。
用峰值吞吐算成本会明显偏乐观：业务到达率有波谷，应按平均利用率或混合负载测算。