首页/AI/提示词工程速查/输入分布漂移的检测
评估与迭代50 条

输入分布漂移的检测

线上输入在变:监控长度分布、语言占比、新高频词与解析失败集中度;漂移明显时评测集与提示都要复查。

提示词工程速查AI更新于 2026-10-12

漂移信号示例

漂移信号示例
输入平均长度环比 +40%
新出现高频词(未在术语表中)
解析失败按批集中(某接入方格式变化)
某类别占比从 5% 升到 20%
触发动作:抽 30 条人工看,确认后更新评测集与示例
方法分桶对比(周对周)比手工翻日志更早发现
动作先确认影响再改提示与评测集,避免过度反应
关联漂移与指标下滑同时出现时,先怀疑输入变化

易错点

  • 只看样本量不看分布,格式变化导致的失败会被当成模型退化
  • 漂移阈值过敏感会造成告警疲劳;先用历史数据定基线

数据来源与参考

  • 数据漂移(data drift)监控概念与 ML 运维中的输入分布监控实践
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌