容器快速启动
容器快速启动
docker run -d --name localai -p 8080:8080 -v $PWD/models:/models localai/localai:latest
curl http://127.0.0.1:8080/v1/models| 默认端口 | 8080 |
|---|---|
| 兼容层 | OpenAI API(chat/completions/embeddings 等) |
| 后端 | llama.cpp 等多种推理后端 |
模型文件按约定目录放置,加载方式以官方文档的模型目录结构为准。
LocalAI 用 Go 编写的本地推理服务,兼容 OpenAI API,可挂载多种后端(llama.cpp 等),默认端口 8080,适合需要轻量自托管与多模态接口的实验环境。
docker run -d --name localai -p 8080:8080 -v $PWD/models:/models localai/localai:latest
curl http://127.0.0.1:8080/v1/models| 默认端口 | 8080 |
|---|---|
| 兼容层 | OpenAI API(chat/completions/embeddings 等) |
| 后端 | llama.cpp 等多种推理后端 |