- 硬件：关注显存/内存容量、算力与功耗墙
- 模型：选 3B~8B 级并配合 Q4/INT4 量化
- 运行时：Jetson 可用 TensorRT-LLM 或 llama.cpp，通用设备用 llama.cpp/MLC
- 形态：常驻小模型 + 云端大模型兜底的组合常见
Jetson 上跑 llama.cpp（示意）
Jetson 上跑 llama.cpp（示意）
cmake -B build -DGGML_CUDA=ON
./build/bin/llama-server -m <模型-Q4_K_M.gguf> -ngl 99 -c 4096 --port 8080边缘部署的验收标准通常是「可用 token/s + 功耗 + 温度」，与机房服务的吞吐目标不同。