边缘推理卡在哪
边缘设备（Jetson 系列、迷你主机、手机）与机房最大的差别不是算力峰值，而是内存容量、功耗墙与散热：同一颗芯片长时间满载会降频。因此主流思路是「小模型 + 强量化 + 平台专用运行时」三件套一起上，任何一环按机房经验照搬都会踩空。
基本信息
| 典型平台 | Jetson Orin/Nano、x86 迷你主机、手机 |
|---|---|
| 常见模型 | 3B~8B 级，配合 Q4/INT4 量化 |
| 运行时 | TensorRT-LLM、llama.cpp、MLC-LLM 等 |
| 内存形态 | 多平台为 CPU/GPU 统一内存 |
| 验收口径 | 可用 token/s + 功耗 + 温度 |
| 常驻策略 | 小模型常驻 + 云端大模型兜底 |
典型使用场景
- 现场数据不出设备：工业质检、医疗终端上的本地问答与摘要
- 断网可用：车间、车载、野外作业等网络不稳定的环境
- 低延迟交互：本地推理省掉网络往返，对首字延迟敏感的场景收益明显
- 成本控制：轻量、高频的小任务不值得付云端按量费用
- 分级兜底：简单请求本地小模型作答，复杂请求再上云
Jetson 上跑 llama.cpp
Jetson 上跑 llama.cpp
cmake -B build -DGGML_CUDA=ON # 打开 CUDA 后端编译
cmake --build build -j # 产出 llama-server 等可执行文件
./build/bin/llama-server -m model-Q4_K_M.gguf -ngl 99 -c 4096 --port 8080
# -ngl 99：尽可能多的层放到 GPU；-c 4096：上下文长度
tegrastats # Jetson 自带：同时看功耗、温度与内存边缘与机房口径差异
| 维度 | 边缘侧重 | 机房侧重 |
|---|---|---|
| 优化目标 | 单请求延迟与长稳 | 整体吞吐与并发 |
| 硬约束 | 功耗、散热、内存 | 显存与互联带宽 |
| 模型配置 | 3B~8B 强量化 | 7B~70B 多精度混部 |
| 验收指标 | token/s + 功耗 + 温度 | QPS 与 P99 延迟 |
TensorRT-LLM 在 Jetson 上通常要按平台版本转换权重并离线构建引擎，首次编译耗时较长且引擎与硬件绑定；llama.cpp 胜在部署简单、CPU/GPU 都能跑。选型先看能否接受离线转换与引擎体积。
功耗与散热是硬约束：桌面裸板测出的 token/s 不能直接外推到整机，性能评估必须在目标设备、正常散热与真实负载下做。
验收时把功耗与温度一起记录：只报速度的报告无法判断设备能否长期稳定跑在这个水平。