内容审核接口是什么
把待检查的文本或图片送进分类模型，返回各个风险类目的判定与分数。工程价值在于双向拦截：输入侧挡住违规与诱导性请求，既省下后面的生成成本，也减少提示注入的入口；输出侧把生成内容再过滤一遍，防止对外发布违规内容。接入时真正要设计的是周边逻辑——类目怎么映射到业务动作、阈值取多少、审核服务故障时走哪条降级分支。
基本信息
| 接入位置 | 输入侧在调用模型前，输出侧在返回用户前 |
|---|---|
| 返回内容 | 各类目的布尔判定与风险分数，按业务阈值决定处置 |
| 类目体系 | 暴恐、色情、仇恨、自伤、骚扰、政治敏感等，各接口类目不同 |
| 延迟影响 | 同步审核会加在链路上，必须设超时并监控耗时 |
| 降级策略 | 审核服务不可用时明确选宁可放过还是宁可拦截，按业务风险预设 |
| 留痕字段 | 送审内容摘要、命中类目、分数、处置动作与时间 |
典型使用场景
- 用户生成内容平台：评论、昵称、私信在展示前过一遍审核
- 客服机器人的输入侧防护：拦掉恶意诱导与明显违规请求，省下生成费用
- 面向未成年人的产品：类目阈值要设得更严，低分也转人工
- 对外发布的生成内容：文章、图片在发布动作前加一道审核
- 需要留痕的行业：审核记录与处置动作可被监管抽查
调用与判定
调用与判定
# 送审接口形态（OpenAI Moderation 风格），返回 categories 与 category_scores
curl https://api.openai.com/v1/moderations \
-H "Authorization: Bearer $KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "omni-moderation-latest",
"input": "待审核的用户输入或生成结果"
}'
# 后端不要直接看 flagged 布尔值，要按类目分数与业务阈值判定
# 高风险类目命中即拦截；低分命中记入日志放行；临界值转人工复核处置策略设计
| 情形 | 处置 | 说明 |
|---|---|---|
| 高风险类目命中 | 立即拦截并记录 | 宁可拦截，代价是少量误伤 |
| 低分临界命中 | 放行并计分累积 | 同一用户短时多次临界命中则升级处置 |
| 审核接口超时 | 按预设降级分支走 | 对外发布类场景选拒绝，内部工具可选放行 |
| 同一内容重复命中 | 进入复核队列 | 避免同一用户反复试探绕过 |
| 审核服务恢复后 | 回补补审队列 | 降级期间放行的内容事后补一遍 |
阈值不要照搬默认值：用自己业务的真实样本跑一遍，统计误杀率与漏放率，再按类目分别设定，同一个阈值套用到所有类目通常两头都不满意。
审核接口是链路中的新单点：如果把它当成必经步骤又不设超时与降级，审核服务抖动会直接变成全站不可用，故障的影响面比原来的内容风险更大。