首页/AI/AI 应用速查/内容审核 API 接入要点
本包目录(159 条)

内容审核 API 接入要点

接入审核接口做输入输出双向检查:输入侧拦违规请求(省 token 又防注入),输出侧把生成内容过一遍分类;关注类别字段、阈值、同步延迟与降级策略。

AI 应用速查AI更新于 2026-10-12
双向输入先审(拦截/转人工),输出再审(防生成违规)
类别暴恐、色情、仇恨、自伤、政治敏感等(各接口类目不同)
策略同步拦截高风险、低风险记分放行、审核接口故障时的降级预案
留痕审核请求与结论入日志

送审调用(OpenAI Moderation 风格)

送审调用(OpenAI Moderation 风格)
curl https://api.openai.com/v1/moderations -H "Authorization: Bearer $KEY" -H "Content-Type: application/json" -d '{
  "model": "omni-moderation-latest",
  "input": "待审核的文本内容"
}'
# 返回 categories / category_scores,按业务阈值判定处置
审核 API 故障要有明确降级策略:是“宁可放过”还是“宁可拦截”,按业务风险等级预先定好。

易错点

  • 只审输出不审输入,模型被反复诱导消耗算力
  • 无降级预案,审核服务抖动直接全站不可用

数据来源与参考

  • OpenAI Moderation API 文档;内容审核工程实践

相关工具

​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌