输入分布漂移是什么
输入分布漂移指线上请求的形态在悄悄变化：文本变长、语言占比改变、出现新的高频表达、某个接入方换了数据格式。这类变化不会立刻报错，但会让原来有效的提示与评测集逐渐失准。检测方法是做分布对比——本周与上周分桶比较长度分布、类别占比、解析失败集中度；发现明显漂移后先抽样本确认，再决定是更新评测集、调整提示还是修数据接入。
基本信息
| 适用平台 | 所有线上运行的 LLM 应用；需要按时间窗口聚合请求特征 |
|---|---|
| 监控对象 | 输入长度分布、语言与类别占比、新高频词、解析失败集中度 |
| 对比方式 | 按周或按批次分桶对比，比翻看单条日志更早发现问题 |
| 处置顺序 | 先抽样本确认影响，再更新评测集与提示，避免过度反应 |
典型使用场景
- 指标下滑排查：先确认输入是否变化，再怀疑模型退化
- 接入方变更：某来源格式调整导致解析失败集中出现
- 业务扩张：新场景带来新表达方式，术语表与示例需要补充
- 多语言扩展：语言占比结构变化，提示与术语表需相应调整
- 评测集维护：把漂移检测结果作为轮换补充的输入依据
漂移信号示例
漂移信号示例
# 输入平均长度环比明显上升（例如 +40%）
# 出现未收录在术语表里的高频词，且集中在某一来源
# 解析失败按批集中：某接入方的数据格式发生变化
# 某类别占比结构变化（例如从 5% 升到 20%）
# 触发动作：抽 30 条人工查看，确认后更新评测集与示例
# 记录：漂移结论与处置方式写入运维记录，供下季度复核漂移信号与可能原因
| 信号 | 可能原因 | 初步动作 |
|---|---|---|
| 长度分布右移 | 业务场景变化或用户开始粘贴长文 | 检查上下文预算与输出预留 |
| 新高频词出现 | 新业务、新术语或新来源接入 | 评估是否需补术语表与示例 |
| 解析失败集中 | 上游数据格式变更 | 先修接入侧解析，再谈模型 |
| 类别占比变化 | 业务重心转移或抽样偏差 | 按新分布调整评测集配额 |
| 语言占比变化 | 多语言用户增加 | 核对提示与分词处理是否适配 |
漂移检测的基线要来自自身历史数据：用别的系统的阈值会带来大量误报或漏报。先用两三个月数据算出正常波动范围，再设定告警线。
漂移与指标下滑同时出现时，先怀疑输入变化：这比假设模型退化更容易验证，也更容易修复。