TGI（Text Generation Inference）定位与部署

Hugging Face 出品的推理服务：内置连续批处理、张量并行与 token 流式输出，Docker 镜像开箱可用，默认监听 8080，适合标准 Transformers 权重。

大模型部署与运维速查AI更新于 2026-10-12

Docker 启动示例

docker run --gpus all --shm-size 1g -p 8080:80 -v $PWD/data:/data ghcr.io/huggingface/text-generation-inference:latest --model-id <模型名或路径> --max-concurrent-requests 64

端口	容器内 80，示例映射为 8080
并发限制	MAX_CONCURRENT_REQUESTS / --max-concurrent-requests
批处理	--max-batch-total-tokens 控制批内 token 预算

--shm-size 过小会在较大批量推理时报共享内存错误，示例给了 1g。

易错点

TGI 需要容器内可访问的模型缓存卷，挂载路径写错会重复下载甚至启动失败
并发上限与批内 token 预算都设得很大时首 token 延迟上升，需要按 SLA 平衡

数据来源与参考

Hugging Face TGI 文档与仓库（huggingface.co/docs/text-generation-inference）

继续搜索

常用关键词：3389 traceroute iptables 子网掩码 docker

‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌