核心维度对照
| 维度 | 闭源 API | 自托管开源 |
|---|---|---|
| 能力上限 | 通常最高 | 差距在缩小,旗舰级需大显存 |
| 数据可控 | 数据出域,依赖厂商条款 | 数据不出内网 |
| 成本形态 | 按 token 付费,弹性 | GPU 折旧 + 运维人力,固定投入 |
| 运维负担 | 无 | 部署、扩容、监控自担 |
| 定制深度 | 微调能力有限(以厂商为准) | 权重可改、可蒸馏、可量化 |
自托管最小示例(vLLM 起 OpenAI 兼容服务)
自托管最小示例(vLLM 起 OpenAI 兼容服务)
vllm serve Qwen/Qwen3-8B --port 8000
curl -s http://localhost:8000/v1/chat/completions -H "Content-Type: application/json" -d '{"model":"Qwen/Qwen3-8B","messages":[{"role":"user","content":"你好"}]}'常见落地是混合架构:敏感数据走自托管模型,复杂任务路由到闭源旗舰,网关层统一 OpenAI 协议。