典型流程（概念示例）
典型流程（概念示例）
# 1）获取官方容器环境
docker run --gpus all -it --rm nvcr.io/nvidia/tensorrt-llm/release
# 2）转换权重（按官方脚本）
python convert_checkpoint.py --model_dir <HF 模型目录> --dtype bfloat16 --output_dir ./ckpt
# 3）编译引擎
trtllm-build --checkpoint_dir ./ckpt --output_dir ./engine
# 4）启动服务（新版 CLI）
trtllm-serve <模型或引擎目录>编译产物与 GPU 架构强绑定（Hopper 上编译的引擎不能直接在 Ada 上运行）；升级驱动或框架后建议重编并回归。
工具链迭代快，命令以官方文档当前版本为准；上面演示的是「转换→编译→服务」这一固定结构。