部署形态是什么
部署形态回答的是「模型权重跑在哪里、由谁运维」。云 API 的权重在厂商机房，通过公网加密接口调用；私有化把权重放在自己机房或自建集群；混合形态本地承接常态流量、云端兜底峰值与故障。三种形态的模型效果可以完全一样，差别落在数据边界、成本结构与运维责任三件事上。
三种形态速览
| 云 API | 零运维、按 token 计费；请求内容出域，单价随用量线性增长 |
|---|---|
| 私有化 | 数据不出域、单位成本随规模下降；需 GPU 采购与 7x24 运维 |
| 混合形态 | 本地为主、云端兜底；出口策略与降级逻辑集中在网关 |
| 判断线一 | 数据能否出域：涉及个人信息或行业数据时通常是硬约束 |
| 判断线二 | 月 token 量与自建月成本之比：越过平衡点后自建更省 |
典型使用场景
- 产品早期验证：用量小、需求变动快，先用云 API 验证价值，不背 GPU 采购决策
- 数据敏感业务：请求内容与日志都不能出内网，只能私有化部署
- 高频轻量对话业务：单请求短、调用量大，自建后单位 token 成本随规模下降
- 离线批量处理：任务时限宽松，可低峰跑满本地卡，避免按量计费的线性增长
- To C 业务的峰值兜底：本地集群承接日均流量，突发时溢出到云端 API
- 多租户平台：租户隔离靠自有机房网络分区实现，云 API 无法提供同等边界
成本平衡点估算
成本平衡点估算
# 自建月成本：四类支出加总，别只算电费
月成本(自建) ≈ GPU 折旧 + 电费 + 机柜与带宽 + 运维人力
# 云 API 月成本：按实际用量线性外推
月成本(API) ≈ 月输入 token 数 × 输入单价 + 月输出 token 数 × 输出单价
# 平衡点：自建月成本 ÷ 平均单价，即自建划算的月 token 量下限
平衡点 ≈ 月成本(自建) ÷ 混合平均单价
# 提醒：GPU 月均利用率低于一半时，自建单位成本通常高于 API六维取舍对照
| 维度 | 云 API 更合适 | 私有化更合适 |
|---|---|---|
| 数据合规 | 无敏感数据可出域 | 数据不能出域或需留存境内 |
| 用量规模 | 用量小或波动大 | 长期稳定的大用量 |
| 延迟要求 | 可接受公网往返延迟 | 内网低延迟、链路可控 |
| 模型定制 | 用现成商用模型即可 | 需微调、自有权重或指定量化 |
| 运维能力 | 无专职 GPU 运维 | 有值班与硬件排障能力 |
| 预算形态 | 偏按量付费的运营支出 | 偏一次性投入的资本支出 |
混合形态不是「两边都买」：本地与云端的模型版本、提示词模板与采样默认值要能对齐，否则同一个问题从两个出口得到风格不同的答案，用户会第一时间发现。
数据能否出域要由法务与安全确认，不能由研发凭感觉决定；私有化还要确认权重许可允许商用（部分社区许可对规模与场景有限制）。
GPU 采购有交付周期：私有化要按到货时间倒排计划，验证期先租用算力或先用云 API 顶上，避免卡没到项目就停摆。