LocalAI：本地运行多模态 AI，它全包了

LocalAI 在 GitHub 上已经拿到 47,235 Star 了。

它是一个开源 AI 引擎，核心目标很明确：在不依赖云服务的前提下，把 LLM、视觉、语音、图像、视频这些模型跑在本地。没有 GPU，也能先用起来。

1、这玩意儿是干嘛的

LocalAI 把自己定位成一个"小而精的核心"，而不是一个大而全的安装包。每个后端都单独打包成镜像，用到哪个拉哪个。llama.cpp 负责文本推理，vLLM 负责高性能生成，whisper.cpp 处理语音转写，stable diffusion 和 MLX 覆盖图像与视频。模型需要什么，系统就加载什么，不会一次性塞满硬盘。

它对外提供 OpenAI、Anthropic、ElevenLabs 兼容的 API。很多原本调用云端服务的代码，把地址改成本地地址就能直接跑，迁移成本很低。

2、为什么要本地跑

数据不出本地是很多人选择它的第一理由。企业文档、语音、图像这些敏感内容不用上传到第三方，合规压力会小很多。

其次，后端按需加载的设计让部署变得很轻量。不会因为一个用不到的功能拖慢整个系统，也不会把一堆依赖全塞进环境里。

另一个点是硬件覆盖广。NVIDIA、AMD、Intel、Apple Silicon、Vulkan，甚至纯 CPU 都能跑。同一套接口，笔记本和服务器都能用。

3、能做什么

支持的模型类型覆盖了常见 AI 场景：文本生成、语音合成、语音识别、图像生成、嵌入向量、视觉理解、目标检测、重排序、MCP 协议、Agent 自主执行、RAG 检索增强。

后端数量超过 60 个，包括 llama.cpp、vLLM、SGLang、transformers、MLX 等主流引擎。硬件加速支持 CUDA 12/13、ROCm、oneAPI、Metal、Vulkan、Jetson L4T。

4、怎么用起来

最快的方式是一行 Docker：

docker run -ti --name local-ai -p 8080:8080 localai/localai:latest

有 NVIDIA GPU 的换latest-gpu-nvidia-cuda-13镜像。AMD、Intel、Vulkan 也有对应版本。启动后，local-ai run加载模型，local-ai chat就能开始对话。

模型来源很灵活，Huggingface、Ollama registry、OCI 镜像、YAML 配置、gist 链接都能直接加载。

5、适合谁

对隐私敏感、希望把模型握在自己手里的团队和个人开发者。做 RAG、Agent、内部知识库、语音助手这些场景，LocalAI 能把推理层完全放在本地。

本地。

[外链图片转存中…(img-9sOn9erl-1783383205741)]