首页/AI/RAG 与向量库速查/RAG 可观测性与日志追踪
本包目录(229 条)

RAG 可观测性与日志追踪

为每次问答记录改写后查询、召回片段与分数、重排结果、实际进上下文的片段与最终回答,是定位问题与沉淀评测集的基础数据。

RAG 与向量库速查AI更新于 2026-10-12

结构化日志示例

结构化日志示例
{
  "trace_id": "8f3a...",
  "question": "报销标准是多少",
  "rewritten": "差旅费报销标准",
  "retrieved": [{"chunk_id": "hr-3#c2", "score": 0.83}],
  "reranked": [{"chunk_id": "hr-3#c2", "score": 0.91}],
  "used_in_context": ["hr-3#c2"],
  "answer": "...",
  "latency_ms": {"retrieval": 28, "rerank": 210, "generate": 2600}
}
  • 追踪工具:LangSmith、Langfuse、Phoenix 等可按需选用
  • 低赞 / 转人工的会话打标后回流评测集
日志会包含用户问题与文档片段,注意脱敏与访问控制。

易错点

  • 只记录最终回答,出问题无法判断是检索还是生成环节
  • 日志未做脱敏,把敏感知识与用户信息写入明文日志

数据来源与参考

  • LangSmith 官方文档(docs.smith.langchain.com)
  • Langfuse 官方文档(langfuse.com/docs)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌