Rapid-MLXApple Silicon 上最快的本地 AI 引擎

本地运行大语言模型早已不是新鲜事，但速度和工具调用支持一直是痛点。Ollama 凭借易用性占据了主流，但在 Apple Silicon 上，性能还有提升空间。Rapid-MLX 正是瞄准这个缺口：一个从头针对 Mac M 系列芯片优化的推理引擎，不仅跑得快，还保留了完整的 API 兼容性。

不止于快：缓存与推理分离

Rapid-MLX 的核心卖点是速度——官方称比 Ollama 快 4.2 倍，缓存情况下首词生成时间（TTFT）低至 0.08 秒。这得益于其 提示缓存 机制：对重复输入的 prompt 片段直接缓存中间状态，避免重复计算。更关键的是 推理分离 设计，将预填充和解码阶段解耦，允许云路由将高负载任务分流到远程，本地只处理轻量请求。这种混合架构在保证隐私的同时，显著提升了吞吐量。

100% 工具调用：为代理时代而生

现代 AI 应用越来越依赖函数调用和工具使用。Rapid-MLX 内置了 17 种工具解析器，覆盖搜索、代码执行、文件操作等常见需求，并宣称实现 100% 的工具调用成功率。这意味着开发者可以将其直接接入 Cursor、Claude Code、Aider 等编程助手，替代云端的 OpenAI 模型，实现完全离线的代码生成与重构。对注重数据安全的团队来说，这一点尤其有价值。

典型使用场景：本地开发者的秘密武器

想象一下，你正在使用 Cursor 写代码，每个补全都需要发送到云端，延迟和隐私都是隐忧。换上 Rapid-MLX 作为后端，你只需修改一行 endpoint 配置，就能让所有 AI 功能跑在本地的 Mac Studio 上。配合 推理分离，日常的小请求由本地模型极速响应，复杂任务自动路由到云端的 Llama 405B 或 GPT-4，体验无缝衔接。开发者会发现，调试循环 的节奏明显加快——不再需要等待网络往返。

兼容性与局限

Rapid-MLX 被设计为 OpenAI API 的即插即用替代，因此任何兼容 OpenAI 的客户端都可以直接切换。它目前仅支持 Apple Silicon（M1 及以上），并且模型格式相对有限（主要支持 MLX 格式）。与 Ollama 庞大的模型库相比，Rapid-MLX 的生态仍在起步阶段。如果你需要运行 GGUF 或非原生格式模型，可能需要额外转换步骤。

Rapid-MLX 没有试图取代 Ollama，而是为特定场景提供了更锐利的工具。如果你恰好是 Apple Silicon 用户，并且在本地推理中对速度和工具调用有执念，它值得你花十分钟跑一遍 benchmark。