典型命令（通用写法）
典型命令（通用写法）
pip install mlc-llm-nightly mlc-ai-nightly
mlc_llm compile <HF 模型或配置> --device cuda
mlc_llm serve <HF 模型> --model-lib <编译产物路径>| 项目定位 | 跨平台编译式 LLM 运行时（TVM 生态） |
|---|---|
| 特色 | 同一模型可按目标设备编译优化 |
| 代价 | 编译产物与设备绑定，升级需重编 |
包名与命令随版本调整较快，接入前以官方文档为准。
本包目录（267 条）
部署形态与选型43 条
- vLLM 推理引擎与 PagedAttention
- Ollama 本地模型运行工具
- vllm serve 常用启动参数
- 主流推理框架横向对照
- 大模型部署形态对比（云 API / 自建 / 混合）
- llama.cpp 与 GGUF 生态
- vLLM 官方 Docker 镜像部署
- Hugging Face 模型下载（huggingface-cli）
- 推理服务栈分层总览
- Ollama 常用命令速查
- TGI（Text Generation Inference）定位与部署
- 云 API 与私有化部署取舍清单
- Ollama API：原生接口与 OpenAI 兼容接口
- 模型权重格式：safetensors / bin / GGUF / ONNX
- SGLang 与 RadixAttention 前缀缓存
- 推理框架选型检查清单
- GGUF 格式与量化档位
- Ollama Modelfile 固化参数
- 推理服务常用默认端口速查
- TensorRT-LLM 与引擎编译部署
- 内网离线部署完整流程
- safetensors 加载与常见问题
- 冷启动、预热与常驻策略
- LMDeploy 推理工具箱
- HF 镜像与离线下载策略
- docker compose 部署推理服务
- Embedding 模型服务化（TEI）
- 推理成本测算：每百万 token 成本
- ModelScope 模型下载
- 模型 revision 锁定与可复现部署
- Kubernetes 部署推理服务要点
- OpenWebUI 接入本地推理服务
- 混合形态：本地为主、云端兜底
- Xinference 多模型统一服务
- LoRA 适配器热加载服务化
- 模型许可证与商用合规核对
- CPU 推理场景与要点
- 选型必读：模型卡核对清单
- MLC-LLM 编译式部署概念
- 单卡多模型混合部署
- Rerank 模型服务化
- LocalAI 本地 OpenAI 替代服务
- 边缘与端侧部署要点
MLC-LLM 编译式部署概念
MLC-LLM 基于 TVM 把模型编译为面向目标平台的可执行产物，覆盖 NVIDIA、AMD、Apple、移动端等多种后端；部署形态更接近「为设备编译」，产物与平台绑定。
易错点
- 把 MLC 当通用服务器方案评估前先确认目标硬件后端成熟度：不同后端的支持程度差异较大
数据来源与参考
- MLC-LLM 官方文档（llm.mlc.ai）