Modelfile 示例
Modelfile 示例
FROM qwen2.5:7b
PARAMETER num_ctx 8192
PARAMETER temperature 0.7
PARAMETER top_p 0.9
SYSTEM 你是一个简洁的技术助手。构建与运行
构建与运行
ollama create my-assistant -f Modelfile
ollama run my-assistantnum_ctx 调大后 KV 显存随之增长;显存不足时 Ollama 会自动卸载部分层到 CPU,表现为速度骤降而不是报错。