| float32 存储 | N × dim × 4 字节 |
|---|---|
| 100 万 × 768 维 | 约 2.9 GiB |
| 100 万 × 1024 维 | 约 3.8 GiB |
| 压缩手段 | Matryoshka 截断、半精度、int8/二值量化 |
存储估算
存储估算
def fp32_gib(n, dim):
return n * dim * 4 / (1024 ** 3)
print(round(fp32_gib(1_000_000, 768), 2)) # 约 2.86
print(round(fp32_gib(1_000_000, 1024), 2)) # 约 3.81量化能显著压缩存储，但有精度损失；上线前用评测集对比量化前后的召回变化。