自托管 TCO 是什么
自托管的总拥有成本不止显卡：整机或云上 GPU 租金、电力与机房、运维人力、模型更新与故障处理都要算进去，而最终决定单位成本的是利用率。判断标准是把总成本除以实际处理的 token 量：利用率低时，自托管的每百万 token 成本往往远高于按量付费的 API；只有在稳定高负载、或数据必须留在内网这两类条件下，自托管才具备明显优势。测算要用真实的高峰与低谷流量，而不是理论峰值。
基本信息
| 显性成本 | GPU 或整机采购、云上按小时租金 |
|---|---|
| 隐性成本 | 机房电力、散热、网络与存储 |
| 人力成本 | 部署、调优、值班与故障处理 |
| 关键变量 | 利用率，直接决定单位 token 成本 |
| 对比口径 | 总成本除以实际处理的 token 量 |
| 适用条件 | 稳定高负载，或数据必须留在内网 |
典型使用场景
- 合规场景：数据不能出域，只能用内网部署模型
- 稳定高负载：日均请求量大且波动小，摊薄算力后更便宜
- 成本对比：评估自建与按量付费哪条路更划算
- 容量规划：判断需要几张卡、是否需要量化
- 混合架构：核心数据自托管，弹性流量走 API
单位成本测算
单位成本测算
# 月度总成本 = 设备折旧或租金 + 电力与机房 + 运维人力 + 备件
# 单位成本 = 月度总成本 / 当月实际输出 token 量
# 关键输入是「实际利用率」而不是理论算力：
# 利用率 20% 时，单位成本大致是满负荷时的 5 倍
# 对比 API 时统一到「每百万 token 成本」再比较
# 建议先做 3 个月的实际压测数据再决策，不要按峰值配置自托管与按量付费对比
| 维度 | 自托管 | 按量付费 |
|---|---|---|
| 前期投入 | 设备采购或预留实例 | 无 |
| 单位成本 | 由利用率决定，波动大 | 随用量线性，可预测 |
| 数据驻留 | 数据留在内网 | 依赖供应商条款与区域 |
| 弹性 | 扩容慢，受硬件约束 | 几乎无限，随时扩 |
| 运维负担 | 模型、框架、驱动全自管 | 由供应商承担 |
自托管的隐性成本常被低估：模型换代后要重新部署与调优，安全补丁要跟，值班要有人。这些不会出现在采购单上，却会持续消耗团队时间。
混合架构往往是性价比最优解：稳定高负载部分自托管，突发流量走按量付费，两边用同一套评测集保证质量一致。