首页/AI/大模型部署与运维速查/LocalAI 本地 OpenAI 替代服务
部署形态与选型43 条

LocalAI 本地 OpenAI 替代服务

LocalAI 用 Go 编写的本地推理服务,兼容 OpenAI API,可挂载多种后端(llama.cpp 等),默认端口 8080,适合需要轻量自托管与多模态接口的实验环境。

容器快速启动

容器快速启动
docker run -d --name localai -p 8080:8080 -v $PWD/models:/models localai/localai:latest
curl http://127.0.0.1:8080/v1/models
默认端口8080
兼容层OpenAI API(chat/completions/embeddings 等)
后端llama.cpp 等多种推理后端
模型文件按约定目录放置,加载方式以官方文档的模型目录结构为准。

易错点

  • 不同后端对模型格式要求不同(GGUF 等),模型放错目录时表现为启动后模型列表为空

数据来源与参考

  • LocalAI 官方文档与仓库(localai.io)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌