分层思路
| 层级 | 任务示例 | 要求 |
|---|---|---|
| 小模型 | 意图分类、字段抽取、打标 | 高并发、低延迟、成本敏感 |
| 中档模型 | 问答、摘要、常规生成 | 质量与成本平衡 |
| 旗舰模型 | 复杂推理、长文分析、难题兜底 | 质量优先，调用占比要低 |
分级路由（伪代码）
分级路由（伪代码）
def route(task):
if task.kind in {"classify", "extract"}:
return call_model("small")
if task.confidence_required or task.complex:
return call_model("flagship")
return call_model("mid")
# 兜底：小模型低置信度 → 升级到中档/旗舰重问一次路由判断本身也可能错：给“低置信度升级”留通道，避免小模型答错还没人发现。