项目介绍
LocalAI 是一个开源的 AI 推理引擎,旨在让用户在自己的硬件上运行广泛的 AI 模型,即使在无 GPU 的环境下也能工作。它作为 OpenAI、Anthropic 和 ElevenLabs API 的即插即用替代品,使得现有客户端无需修改代码即可调用本地后端,包括 llama.cpp、vLLM、whisper.cpp、stable-diffusion 和 MLX。
核心功能
- 覆盖文本、图像、音频、视频和多模态工作负载
- 内置支持工具使用、RAG(检索增强生成)和 MCP(模型上下文协议)的代理
- 提供多用户配额管理和基于角色的访问控制
技术栈
项目使用 Go 语言编写,并支持多种硬件后端,包括 NVIDIA、AMD、Intel、Apple Silicon、Vulkan 以及纯 CPU 运行。
许可证
本项目采用 MIT 许可证发布。
如何上手
根据 README,用户可以通过 Docker 或直接使用 Go 构建来运行 LocalAI。具体安装和使用步骤请参考项目官方文档。










评论
暂无评论
成为第一个评论的人