| 为什么贵 | 逐 token 自回归生成,算力成本高于预填充 |
|---|---|
| 三大抓手 | max_tokens 上限、提示词约束格式、禁止无关展开 |
| 隐性浪费 | 寒暄、复述问题、重复上下文 |
| 可观测量 | usage.completion_tokens 按日统计 P50/P95 |
提示词里的输出约束
提示词里的输出约束
输出要求:
- 只输出 JSON,不要任何解释文字
- 字段:{"conclusion": "...", "reason": "不超过50字"}
- 不确定时用 null,不要编造对固定任务先测量“必要输出长度”,再把 max_tokens 设为其 1.5 倍左右,防止截断同时抑制废话。