首页/AI/大模型部署与运维速查/网关日志:元数据与内容分级

网关日志:元数据与内容分级

日志分两级:元数据(请求 ID、模型、token 用量、延迟、状态码)默认记录;对话内容默认不落盘,需要排查时临时开启并配套脱敏与留存策略。

日志分两级记录

网关日志分两级:元数据默认记录,包括请求标识、模型、用量、延迟与状态码;对话内容默认不落盘,需要排查时临时开启,并配套脱敏与留存策略。内容级日志涉及用户数据,开关要集中管理并留下审计记录,默认关闭、限时开启、到期清理。

基本信息

适用平台Nginx 网关与应用网关
默认记录请求标识、模型、用量、延迟、状态码
默认不记完整的对话内容
开启方式内容级日志由集中开关控制并留审计

Nginx 日志片段(示意)

Nginx 日志片段(示意)
log_format llm '$remote_addr $request_id $status $request_time $upstream_response_time';
access_log /var/log/nginx/llm.log llm;

典型使用场景

  • 容量分析:用量与延迟数据是容量评估的输入
  • 计费核对:按调用方统计用量,与配额对账
  • 排障取证:临时开启内容日志,用完及时关闭
  • 合规要求:内容留存期限事先约定并写进流程
  • 变更审计:日志开关的每次变动都留痕
  • 看板对齐:关键字段要能被采集侧解析出来,否则统计口径对不上

字段与默认策略

日志字段是否默认记录用途
请求标识是串联全链路记录
模型与用量是计费与容量分析
延迟与状态码是性能与错误排查
对话内容否,按需开启内容级问题取证
内容级日志开关集中管理并留审计:默认关闭、限时开启、到期清理。
对话内容属于用户数据:落盘前要明确脱敏规则、留存期限与访问权限。
日志格式变更要同步采集侧:改了字段却没改解析规则,看板会出现空图或字段错位。
元数据日志建议全量记录:这部分体积可控,却是容量分析与计费核对的主要依据,轻易不要省。
内容日志要限时:临时开启的排查日志如果没有自动到期机制,很容易变成长期留存的隐患。

易错点

  • 默认记录完整对话:磁盘快速膨胀,数据暴露面增大,先定脱敏与留存策略
  • 开了不关:临时排查打开的开关没人收尾,长期记录与合规要求冲突
  • 日志分散在各层:网关与引擎各写一份且格式不同,排查时对不上
  • 日志格式没有版本管理:解析规则与格式串不匹配时,统计结果会静默出错

数据来源与参考

  • Nginx 官方文档:log_format 与 request_id(nginx.org/en/docs)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌