语义缓存命中
语义缓存命中
import hashlib
def cache_key(question):
norm = " ".join(question.lower().split())
return hashlib.sha256(norm.encode()).hexdigest()
# 命中缓存的问答直接返回；语义缓存可用向量相似度匹配历史问题模型分流
模型分流
if is_simple(query): # 意图明确、短问题
model = SMALL_MODEL # 成本更低
else:
model = LARGE_MODEL缓存与分流都要防误伤：缓存要能强制刷新，分流要按类别评测后再放量。