部署形态与选型43 条

Embedding 模型服务化（TEI）

文本向量化服务用 Hugging Face 的 TEI（Text Embeddings Inference）部署较省心：面向 embedding 优化，容器内监听 80 端口，适配主流向量检索链路。

TEI 容器部署

docker run --gpus all -p 8080:80 -v $PWD/data:/data ghcr.io/huggingface/text-embeddings-inference:latest --model-id BAAI/bge-large-zh-v1.5

curl http://127.0.0.1:8080/embed -H 'Content-Type: application/json' -d '{ "inputs": "你好，世界" }'

端口	容器内 80
接口	原生 /embed 与 OpenAI 兼容 /v1/embeddings（以版本文档为准）
显存	比生成模型小，仍需按批量大小估算

向量服务请求量大且延迟敏感，常与生成模型分卡部署，避免相互挤占。

‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌