首页/AI/大模型部署与运维速查/Ollama Modelfile 固化参数
部署形态与选型43 条

Ollama Modelfile 固化参数

Modelfile 把基础模型、系统提示与默认采样参数打包成自定义模型;其中 num_ctx 决定上下文窗口,是排查「上下文被截断」问题的起查点。

Modelfile 示例

Modelfile 示例
FROM qwen2.5:7b
PARAMETER num_ctx 8192
PARAMETER temperature 0.7
PARAMETER top_p 0.9
SYSTEM 你是一个简洁的技术助手。

构建与运行

构建与运行
ollama create my-assistant -f Modelfile
ollama run my-assistant
num_ctx 调大后 KV 显存随之增长;显存不足时 Ollama 会自动卸载部分层到 CPU,表现为速度骤降而不是报错。

易错点

  • 不显式设置 num_ctx 时默认值随版本变化,长文档场景容易被静默截断
  • SYSTEM 指令与调用端 system 消息同时存在时,以实际模板拼接结果为准,冲突时用调试输出核对

数据来源与参考

  • Ollama 官方文档:Modelfile Reference(docs.ollama.com)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌