内容哈希做缓存键
内容哈希做缓存键
import hashlib
def content_key(text: str, model_tag: str) -> str:
h = hashlib.sha256(text.encode("utf-8")).hexdigest()[:32]
return f"{model_tag}:{h}"
# 命中缓存则复用向量；未命中再调用 embed 并回写缓存键要包含模型名与版本，否则升级模型后会命中旧向量。
向量化结果缓存
同一文本重复向量化是常见浪费：按内容哈希缓存向量结果，重跑索引或更新时直接命中缓存，节省时间与调用费用。
易错点
- 缓存键不含模型版本，换模型后拿到过期向量
- 失败批次无记录，重跑时已成功部分被重复计算
数据来源与参考
- OpenAI 官方文档（成本优化与批处理建议）