中文难点在分布上
中文能力的难点很少是生僻成语，而在于真实文本的分布：标点不规范、断句歧义、简繁混用、量词与称谓、行业术语、长句省略主语、中英混排、口语与网络用语。自测集要复刻这些分布，而不是搜集难题。判断标准很朴素：把题目放回线上，它看起来像不像一条真实请求。
基本信息
| 建议规模 | 单场景 30~80 条起步，够覆盖主路径与边界即可 |
|---|---|
| 样本来源 | 线上真实请求脱敏后分层抽样优先，公开集只作补充 |
| 标注方式 | 双人独立标注，分歧条目复核后再入库 |
| 语言标签 | 简体/繁体、中英混排、口语/书面分开统计 |
| 维护节奏 | 按季度换题，固定集与轮换集分开管理 |
| 防污染 | 入库时做与训练数据的重合检查，避免题目被背 |
典型使用场景
- 选型对比：同一批中文请求跑多个候选，看通过率与抖动
- 上线验收：确认格式约束、术语口径与拒答边界符合业务规范
- 回归监控：模型更新或提示词改版后跑固定集，发现退化
- 标注规范沉淀：把常见分歧整理成标注手册，减少主观误差
- 投诉归因：用同类题目复现用户反馈，判断是否可稳定复现
- 数据回流：把线上失败样本按规则补进评测集，形成闭环
题型与典型陷阱
| 题型 | 典型陷阱 | 判定建议 |
|---|---|---|
| 结构化抽取 | 字段名同义、单位混写 | 以字段齐全率与数值口径双判定 |
| 长文摘要 | 堆砌原文、漏掉结论 | 检查要点覆盖与无据添加两类错误 |
| 简繁混排 | 转换成繁体后术语不一致 | 纳入术语表比对，不用模糊打分 |
| 中英混排 | 保留英文术语的原文形式 | 明确是否允许翻译并写进评分说明 |
| 口语与网络语 | 过度书面化改写原意 | 以意图保真优先于文采 |
| 拒答边界 | 越界回答或过度拒答 | 两类错误分别统计，避免相互抵消 |
题目文件的一行一条
题目文件的一行一条
// 一行一题，字段固定，便于脚本批量跑与统计
{"id":"zh-014","scene":"客服工单分类","len":"短","mix":"中英混排",
"input":"客户说 App 登录一直 401，要求退款",
"expect_type":"label","rubric":"分类正确且不新增类别",
"lang":"zh","difficulty":"常规","holdout":true}
// holdout 表示该题只用于验收，不参与提示词调优
// rubric 必须写成可判定语句，禁止「回答得好」这类主观描述中文输出天然有更多表达等价形式，逐字比对会严重低估正确率。建议对开放式任务采用要点覆盖加错误类型清单的方式判定，配合多次采样看分布，而不是只看一次输出。
中英混排与简繁需要在统计时分开成列。混在一起时，繁体术语不一致带来的扣分会掩盖简体主场景的真实变化，让版本对比失真。
用线上真实请求建集必须脱敏：去除姓名、手机号、证件号、订单号与内部编号，并在入库前确认数据使用范围允许被用于评测；涉及个人信息的样本不要跨环境复制。