| 硬件层 | GPU/NPU 显卡与互联（PCIe/NVLink） |
|---|---|
| 运行时层 | NVIDIA 驱动、CUDA/cuDNN、PyTorch |
| 引擎层 | vLLM/SGLang/TGI/llama.cpp 等推理框架 |
| 网关层 | Nginx/LiteLLM：鉴权、限流、负载均衡 |
| 应用层 | OpenWebUI、业务后端、RAG 管线 |
逐层排查顺序示例
逐层排查顺序示例
nvidia-smi # 1. 硬件与驱动是否正常
python -c "import torch; print(torch.cuda.is_available())" # 2. 运行时
curl http://127.0.0.1:8000/health # 3. 引擎存活
curl http://127.0.0.1:8000/v1/models # 4. 引擎接口
curl https://your-domain/v1/models # 5. 网关转发是否通定位问题时先确认故障落在哪一层，再深入该层的日志与指标，避免同时改动多层。