Ollama 本地模型运行工具

Ollama 面向单机场景，把模型下载、GGUF 量化格式、运行与 API 服务打包为一条命令，默认监听 127.0.0.1:11434，适合开发调试与轻量内网服务。

定位	本地运行与管理开源模型（GGUF）
默认端口	11434（仅本机监听）
模型库	ollama pull 从官方库拉取；也支持导入 GGUF

快速上手

ollama pull qwen2.5:7b
ollama run qwen2.5:7b
ollama list
ollama ps        # 查看已加载模型与显存占用

对外提供服务前先明确并发能力：Ollama 的并行度由 OLLAMA_NUM_PARALLEL 等环境变量控制，与 vLLM 的批处理调度不同。

‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌