分批编码与进度记录
分批编码与进度记录
def embed_all(texts, batch=128):
out = []
for i in range(0, len(texts), batch):
part = texts[i:i + batch]
out.extend(embed_batch(part)) # 失败时只重试当前批次
print("进度", i + len(part), "/", len(texts))
return out入库流水线把“已处理文档清单”落盘，重跑时跳过已完成部分，节省重复计算。