成本项
| 项目 | 说明 | 优化 |
|---|---|---|
| GPU 硬件 | 采购或云租赁，按卡时计 | 混合：峰值租、基载自建 |
| 电力散热 | 满载功耗不容忽视 | 选高能效卡、控制超频 |
| 运维人力 | 部署、升级、监控 | 纳入总账，别只算硬件 |
| 空闲率 | 流量波谷时的闲置 | 多模型/多业务共卡 |
对比公式（概念）
对比公式（概念）
自建每百万token成本 ≈ 每小时总成本（硬件+电+运维）
÷ 每小时实际产出token数
=> 利用率 20% 时，成本可能是 API 的数倍
结论：先测“稳定基载吞吐”，再决定自建规模只对比“API 单价 vs 显卡价格”是最常见的错误算法：运维与空闲成本才是分水岭。