审核分类要定义类型与动作
内容审核分类的核心难点不是识别敏感词，而是区分「讨论违规」与「实施违规」：分析诈骗手法的文章和真正的诈骗广告包含同样的词。写法上要同时定义违规类型（广告、违法、骚扰）与处理动作，并允许输出「不确定」以减少误杀。误杀与漏放两类样本都要进回归集，规则改动后全量回放。
基本信息
| 输出 | 是否违规 + 违规类型 + 依据片段 |
|---|---|
| 类型 | 广告 / 违法 / 骚扰 / 无 |
| 三态 | true / false / null（不确定）可减少误杀 |
| 要点 | 区分「提及」与「实施」，要求引用依据片段 |
| 迭代 | 误杀与漏放样本都进回归集 |
典型使用场景
- 社区评论审核：区分经验分享与广告引流
- 商品问答审核：识别导流联系方式与站外交易暗示
- 用户举报复核：先机器分类再按类型分配人工队列
- 内容风控巡检：批量扫描历史内容，按类型统计趋势
- 客服话术检查：识别越界承诺与不当引导
审核分类模板
审核分类模板
判断内容是否违规：
- 讨论违规现象不违规；推广、引流、教唆违规才违规
- 输出：{"violation": true, "type": "广告|违法|骚扰|无", "quote": "依据片段"}
- 不确定时输出 violation: null 并注明原因
# 要求引用依据片段，人工复核时只需看片段
# 三态设计：不确定的样本转人工，不要强行二选一
# 类型定义写在系统提示里，随规则变化单独维护
内容：<content>……</content>违规类型与判定要点
| 类型 | 判定要点 | 易误杀情形 |
|---|---|---|
| 广告 | 含联系方式和引导站外交易 | 产品使用经验分享 |
| 违法 | 教唆或提供实施方法 | 新闻报道与风险提醒 |
| 骚扰 | 针对特定个人的攻击性内容 | 对公共事件的批评 |
| 无 | 讨论、科普、正常交流 | 含敏感词但语境正常 |
把「包含敏感词」等同于违规会产生大量误杀；判定必须结合意图与上下文，并要求给出依据片段。
拒答率与误杀率要分别统计：只看单一指标会掩盖问题——误杀率低但漏放率高的模型看起来「很温和」。