llama.cpp 与 GGUF 生态

llama.cpp 对 CPU 与消费级 GPU 友好，用 GGUF 量化格式在单机跑模型；配套 llama-cli（交互）、llama-server（HTTP 服务）、llama-quantize（量化）等工具。

大模型部署与运维速查AI更新于 2026-10-12

编译与启动服务

git clone https://github.com/ggml-org/llama.cpp
cmake -B build -DGGML_CUDA=ON
cmake --build build --config Release
./build/bin/llama-server -m <模型.gguf> -c 8192 -ngl 99 --host 0.0.0.0 --port 8080

格式	GGUF（含多种量化档位）
显卡卸载	-ngl 指定放到 GPU 的层数
服务端口	llama-server 默认 8080

消费级显卡显存不够时可减小 -ngl 把部分层留在 CPU，速度下降但能跑起来。

易错点

-ngl 设置超过实际层数不会报错，层数用 llama-server 启动日志确认
不同版本的二进制名有变化（main 演进为 llama-cli 等），脚本升级后需回归

数据来源与参考

llama.cpp GitHub 仓库文档（github.com/ggml-org/llama.cpp）

继续搜索

常用关键词：3389 traceroute iptables 子网掩码 docker

‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌