工程化实践50 条

线上质量抽检

上线后按比例抽样人工检查：分层抽样（任务类型、提示版本、输入长度）配合评分表；抽检结果回流到评测集与告警阈值。

抽检方案示例

抽样率: 1%，每版本每日至少 50 条
分层: 任务类型 × 提示版本 × 输入长度档
评分: 正确性/完整性/格式/安全 各 0-2 分
告警: 平均分环比降 0.3 或格式错误率 > 2%
回流: 低分样本去标识后进评测集

‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌