首页/AI/AI 应用速查/Ollama 本地模型服务
本包目录(159 条)

Ollama 本地模型服务

一键跑开源模型的本地运行时:pull/run 即可对话,默认监听 11434 端口,同时提供原生 /api/chat 与 OpenAI 兼容的 /v1/chat/completions。

AI 应用速查AI更新于 2026-10-12
端口11434
命令ollama pull / run / list / ps / rm
兼容端点http://localhost:11434/v1
模型库llama、qwen、deepseek-r1、gemma 等

拉取并使用(含 OpenAI 兼容调用)

拉取并使用(含 OpenAI 兼容调用)
ollama pull qwen3:8b
ollama run qwen3:8b
curl -s http://localhost:11434/v1/chat/completions -H "Content-Type: application/json" -d '{"model":"qwen3:8b","messages":[{"role":"user","content":"你好"}]}'
默认按可用显存选择量化等级与层数;高并发生产服务建议换 vLLM/SGLang,Ollama 更适合开发机与边缘场景。

易错点

  • 把 Ollama 当生产推理引擎(并发能力弱)
  • 忽略模型 tag 里的尺寸与量化差异,选错规格

数据来源与参考

  • Ollama 官方文档 ollama.com/docs

相关工具

​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌