Embedding 成本是什么
嵌入按输入 token 计费,是知识库建设的主要成本之一:一次全量重算可能就顶掉几个月的问答费用。控制手段有三条:用内容哈希做增量,只有变更的文档才重算向量;入库前按块去重,去掉模板化段落与重复内容;把建库成本与查询成本分开核算,避免把一次性投入摊进每次问答的单价里。规模较大时批处理接口通常也能用于嵌入,折扣可观(以厂商官网为准)。
基本信息
| 计费口径 | 按输入 token 计费,文档与查询两侧都算 |
|---|---|
| 增量策略 | 内容哈希对比,只重算变化的文档 |
| 去重手段 | 删除模板段落与重复内容后再嵌入 |
| 批处理 | 大批量走批处理接口,价格通常有折扣 |
| 核算方式 | 建库成本与查询成本分开统计 |
| 常见浪费 | 调整一次切分策略就全量重算 |
典型使用场景
- 首次建库:估算文档总量对应的嵌入支出
- 切分策略调优:小样本试跑后再决定是否全量重算
- 日常同步:只对变更文档重算,控制增量成本
- 多租户部署:为每个租户单独建库时的成本分摊
- 成本归因:区分建库、查询与试错三部分支出
增量与去重的落地要点
增量与去重的落地要点
# 1) 入库前算文档内容哈希,与索引中记录的哈希对比
# 哈希未变 → 跳过切分与嵌入,只更新元数据
# 2) 块级去重:同一条内容在多份文档中重复出现时只嵌入一次
# 把内容指纹作为块主键,命中则复用已有向量
# 3) 调切分策略时先用 1% 样本试跑,算出全量成本与质量收益
# 4) 大批量嵌入走批处理接口,规模大时折扣明显(以官网为准)
# 5) 把建库成本单独记账,别混进每次问答的单价嵌入成本的主要来源
| 来源 | 发生频率 | 控制手段 |
|---|---|---|
| 首次建库 | 一次性,与文档总量成正比 | 去重后嵌入,分批执行 |
| 全量重算 | 反复发生,最容易失控 | 内容哈希增量 |
| 查询侧嵌入 | 与查询量成正比,通常较小 | 高频查询向量缓存 |
| 切分试错 | 调优期高发 | 小样本试跑再全量执行 |
| 多套副本 | 同一内容建多份向量库 | 统一模型版本与风格 |
换嵌入模型意味着全部向量都要重建:模型不兼容旧向量,规划升级时要预留重建期与对应预算。
嵌入模型选型不必只比价格:便宜模型往往需要更多召回条数与重排来补质量,端到端成本未必更低。