Ollama 是什么
Ollama 是本地运行开源模型的工具：一行命令拉取并对话，模型权重与运行环境都由它管理，默认监听 11434 端口，同时提供原生接口与 OpenAI 兼容接口。它默认使用量化权重，因此显存门槛比原始精度低不少，适合个人试用、内网小规模部署与离线开发。缺点是高并发能力有限，量级一上来就要换成生产级推理引擎。
基本信息
| 定位 | 本地运行开源模型的轻量运行时 |
|---|---|
| 默认端口 | 11434 |
| 接口 | 原生接口与 OpenAI 兼容接口并存 |
| 权重形态 | 默认使用量化版本，显存占用较低 |
| 适用规模 | 个人开发、内网小规模与离线环境 |
| 限制 | 高并发与长上下文场景能力有限，需换生产级引擎 |
常用命令
| 命令 | 作用 | 说明 |
|---|---|---|
| pull | 拉取模型权重 | 按模型名下载，体积可达数 GB |
| run | 拉取并进入交互对话 | 本地快速验证效果 |
| list | 列出本地已有模型 | 查看模型名与占用体积 |
| serve | 启动本地服务 | 对外提供接口，供程序调用 |
| ps | 查看当前加载的模型 | 判断是否已常驻显存 |
| rm | 删除本地模型 | 释放磁盘空间 |
典型使用场景
- 离线开发：无外网环境下调试提示词与业务流程
- 内网小规模问答：数据不出域，团队内部使用
- 效果对比：快速比较不同开源模型在同一任务上的表现
- 原型验证：用同一套 OpenAI 兼容代码在本地与云端之间切换
- 隐私敏感场景：处理不便外发的文本与图片
起服务与调用
起服务与调用
ollama pull qwen3 # 拉取模型权重
ollama run qwen3 # 交互对话，验证效果
ollama list # 查看本地模型与体积
ollama serve # 启动服务，默认监听 11434
curl -s http://localhost:11434/v1/chat/completions -H "Content-Type: application/json" -d '{"model":"qwen3","messages":[{"role":"user","content":"你好"}]}' # 兼容端点
# 原生接口路径与兼容接口不同，迁移前确认代码里用的是哪一种选型与调优要点
| 要点 | 做法 | 影响 |
|---|---|---|
| 模型尺寸 | 按显卡显存选参数量 | 尺寸越大效果越好但速度越慢 |
| 量化程度 | 显存紧张时选更激进的量化 | 效果可能有可感知的下降 |
| 常驻加载 | 预热常用模型避免反复加载 | 首次请求延迟明显降低 |
| 并发控制 | 限制同时处理的请求数 | 并发过高会导致排队与超时 |
| 上下文长度 | 按需设置上限 | 过长会显著增加显存占用 |
本地模型的效果与云端旗舰差距明显：适合做内部工具与流程验证，涉及复杂推理与高质量写作时仍要评估云端方案。
默认只监听本机时最安全：确需对外提供服务时，务必加反向代理、鉴权与访问控制，避免接口被公网直接调用。