llama.cpp 纯 CPU 运行
llama.cpp 纯 CPU 运行
./build/bin/llama-server -m <模型.gguf> -t 16 --host 0.0.0.0 --port 8080
# -t 指定线程数，一般设为物理核心数附近| 常用工具 | llama.cpp / Ollama（CPU 回退） |
|---|---|
| 关键参数 | 线程数、批大小、量化档位 |
| 预期 | 比 GPU 慢一到数个量级，按 token/s 评估可接受性 |
CPU 推理优先看重内存带宽与量化档位：Q4 档位显著降低内存占用与带宽压力。