进阶Go、Docker

LocalAI本地运行 AI 模型的开放引擎

LocalAI 是一个开源引擎,可在自有硬件上运行多种 AI 模型,甚至无需 GPU。它提供 OpenAI、Anthropic 和 ElevenLabs API 的即插即用替代,让现有客户端无需改代码即可调用本地 llama.cpp、vLLM、whisper.cpp、stable-diffusion 和 MLX 后端。支持文本、图像、音频、视频和多模态工作负载,内置支持工具调用、RAG 和 MCP 的代理,并提供多用户配额和基于角色的访问控制。项目使用 Go 编写,支持 NVIDIA、AMD、Intel、Apple Silicon、Vulkan 和纯 CPU。

46.6K 星标
4.1K 分叉
182 问题
170 浏览
Go、Docker
MIT
收录日期
更新日期

项目概述

LocalAI 是一个开源引擎,可在自有硬件上运行多种 AI 模型,甚至无需 GPU。它提供 OpenAI、Anthropic 和 ElevenLabs API 的即插即用替代,让现有客户端无需改代码即可调用本地 llama.cpp、vLLM、whisper.cpp、stable-diffusion 和 MLX 后端。支持文本、图像、音频、视频和多模态工作负载,内置支持工具调用、RAG 和 MCP 的代理,并提供多用户配额和基于角色的访问控制。项目使用 Go 编写,支持 NVIDIA、AMD、Intel、Apple Silicon、Vulkan 和纯 CPU。

项目介绍

LocalAI 是一个开源的 AI 推理引擎,旨在让用户在自己的硬件上运行广泛的 AI 模型,即使在无 GPU 的环境下也能工作。它作为 OpenAI、Anthropic 和 ElevenLabs API 的即插即用替代品,使得现有客户端无需修改代码即可调用本地后端,包括 llama.cpp、vLLM、whisper.cpp、stable-diffusion 和 MLX。

核心功能

  • 覆盖文本、图像、音频、视频和多模态工作负载
  • 内置支持工具使用、RAG(检索增强生成)和 MCP(模型上下文协议)的代理
  • 提供多用户配额管理和基于角色的访问控制

技术栈

项目使用 Go 语言编写,并支持多种硬件后端,包括 NVIDIA、AMD、Intel、Apple Silicon、Vulkan 以及纯 CPU 运行。

许可证

本项目采用 MIT 许可证发布。

如何上手

根据 README,用户可以通过 Docker 或直接使用 Go 构建来运行 LocalAI。具体安装和使用步骤请参考项目官方文档。

LLMLocal DeploymentOpenAI API AlternativeGolangInferenceEdge AI

项目评分

0.0 (0 评价)

分享

常见问题

LocalAI:本地运行 AI 模型的开放引擎 是什么?

LocalAI 是一个开源引擎,可在自有硬件上运行多种 AI 模型,甚至无需 GPU。它提供 OpenAI、Anthropic 和 ElevenLabs API 的即插即用替代,让现有客户端无需改代码即可调用本地 llama.cpp、vLLM、whisper.cpp、stable-diffusion 和 MLX 后端。支持文本、图像、音频、视频和多模态工作负载,内置支持工具调用、RAG 和 MCP 的代理,并提供多用户配额和基于角色的访问控制。项目使用 Go 编写,支持 NVIDIA、AMD、Intel、Apple Silicon、Vulkan 和纯 CPU。

LocalAI:本地运行 AI 模型的开放引擎 用什么语言开发?

LocalAI:本地运行 AI 模型的开放引擎 主要使用 Go、Docker 开发。

LocalAI:本地运行 AI 模型的开放引擎 使用什么开源协议?

LocalAI:本地运行 AI 模型的开放引擎 基于 MIT 协议开源。

相关项目

暂无结果

探索更多

相似工具

豆包

豆包

豆包(Doubao)是字节跳动推出的一款智能办公与内容创作工具,核心功能包括:智能问答、文案生成、翻译润色、PPT 自动生成、Excel 分析、图像创作、音视频辅助处理等。依托字节的大模型能力,豆包在中文理解、写作、数据处理和创意生成方面表现出色,是国内广泛使用的 AI 办公工具之一。

ChatGPT

ChatGPT

ChatGPT 是一款基于大型语言模型的智能聊天工具,可以理解人类语言并生成自然回应。它广泛应用于写作、翻译、办公自动化、代码生成、学习问答等场景,能够快速提升个人和团队的工作效率。

DeepSeek

DeepSeek

DeepSeek 是一款面向全球用户的智能语言模型工具,具备文本生成、代码推理、任务分析、内容写作等能力。与传统 AI 工具相比,它更强调高效推理与高性价比,尤其在编程问答、技术场景、数据分析等方面表现突出。

MiniMax

MiniMax

MiniMax 是一家由前商汤科技核心团队创立的 AI 独角兽,业内常把它比作“中国的 OpenAI”。它最核心的底层是自研的 abab 系列大模型。与其他只擅长处理文字的 AI 不同,MiniMax 在语音、视觉和逻辑推理三个维度上走得非常均衡。如果你在寻找一个说话不生硬、生成的视频不“鬼畜”且能深度理解复杂指令的 AI 工具,它基本就是国内的首选。

智谱清言

智谱清言

智谱清言是基于 GLM-4 大型预训练模型打造的国产 AI 助手,可以实时对话、答疑解惑,支持文章创作、新闻选题、PPT 大纲、程序编写等多种功能。它擅长理解上下文,并提供高质量的创意写作和代码生成服务,是一款面向中文用户的智能生产力工具。

Kimi

Kimi

在 2026 年的全球 AI 竞赛中,Kimi 已成为“高保真长文本处理”的代名词。它最初凭借处理百万字不“断片”的能力切入市场,而现在的 Kimi 已经进化为一个拥有深度推理能力的智能系统。它最核心的竞争力在于:当其他模型在面对海量文档感到“困惑”时,Kimi 能够像经验丰富的研究员一样,在几秒钟内穿透数十万行代码或上千页财报,精准定位逻辑关键点。

评论

评论

0
0/500 字符

暂无评论

成为第一个评论的人

开源项目

探索、学习并参与开源 AI 项目,推动人工智能技术发展

查看全部