Llama 系列是什么
Llama 是 Meta 发布的开放权重模型家族，覆盖多个尺寸：Llama 3.1 一代含 8B、70B、405B 等规格，后续还有 3.3 70B 与 Llama 4 系列。权重可下载、可微调、可量化，本地生态工具链成熟，因而常被用作私有化部署与二次训练的底座。要注意它是开放权重而非无限制开源：许可对商用规模、命名与再分发附带条件。
基本信息
| 厂商 | Meta |
|---|---|
| 代表版本 | Llama 3.1、3.3、Llama 4 系列 |
| 形态 | 开放权重，附带自定义社区许可 |
| 常见尺寸 | 8B、70B、405B 等级别，另有更小的轻量档 |
| 运行方式 | Ollama、vLLM、llama.cpp、LM Studio 等 |
| 微调 | LoRA 等低成本微调方案生态成熟 |
按尺寸定硬件
| 规模 | 硬件门槛 | 适用场景 |
|---|---|---|
| 8B 级 | 单张消费级显卡即可运行 | 分类、抽取、本地助手、边缘部署 |
| 70B 级 | 多卡或大显存单机 | 通用问答与内容生成，能力接近可用线 |
| 405B 级 | 多机多卡，成本高 | 质量优先的实验、蒸馏数据生产 |
| 量化版本 | 显存需求显著下降 | 资源受限时的折中，效果需实测 |
典型使用场景
- 内网私有化：数据不出域，满足合规与保密要求
- 垂类微调：用自有语料做 LoRA 微调，形成业务专用模型
- 离线批处理：大批量抽取、分类、翻译，不与公网交互
- 数据生产：为更小的模型生成训练与评测数据
- 本地开发调试：无网络环境下验证提示词与流程
两种本地运行方式
两种本地运行方式
ollama run llama3.1 # 一行命令拉取并交互，默认使用量化权重
ollama list # 查看本地已有的模型与体积
vllm serve meta-llama/Llama-3.1-8B-Instruct --port 8000 # 生产服务，OpenAI 兼容端点
curl -s http://localhost:8000/v1/chat/completions -H "Content-Type: application/json" -d '{"model":"meta-llama/Llama-3.1-8B-Instruct","messages":[{"role":"user","content":"你好"}]}'
# 显存不足：先降尺寸或用量化，再考虑加卡本地运行时对照
| 工具 | 特点 | 适用 |
|---|---|---|
| Ollama | 拉取即用，默认量化，接口简单 | 个人试用、内网小规模 |
| vLLM | 连续批处理，吞吐高 | 生产服务与多并发 |
| llama.cpp | CPU 友好，量化格式丰富 | 无显卡或边缘设备 |
| LM Studio | 图形界面，无需命令行 | 桌面端试用与演示 |
下载模型前先看清权重的量化格式与显存需求：同一尺寸的不同量化版本，效果与速度差别不小，业务上要实测挑选。
开放权重不等于可随意商用：许可对超大规模使用、命名与再分发有附加条款，商用前逐条阅读许可与模型卡。