Rapid-MLXApple Silicon 上最快的本地 AI 引擎

本地執行大語言模型早已不是新鮮事，但速度和工具呼叫支援一直是痛點。Ollama 憑藉易用性佔據了主流，但在 Apple Silicon 上，效能還有提升空間。Rapid-MLX 正是瞄準這個缺口：一個從頭針對 Mac M 系列晶片優化的推理引擎，不僅跑得快，還保留了完整的 API 相容性。

不止於快：快取與推理分離

Rapid-MLX 的核心賣點是速度——官方稱比 Ollama 快 4.2 倍，快取情況下首詞生成時間（TTFT）低至 0.08 秒。這得益於其 提示快取 機制：對重複輸入的 prompt 片段直接快取中間狀態，避免重複計算。更關鍵的是 推理分離 設計，將預填充和解碼階段解耦，允許雲路由將高負載任務分流到遠端，本地只處理輕量請求。這種混合架構在保證隱私的同時，顯著提升了吞吐量。

100% 工具呼叫：為代理時代而生

現代 AI 應用越來越依賴函式呼叫和工具使用。Rapid-MLX 內建了 17 種工具解析器，覆蓋搜尋、程式碼執行、檔案操作等常見需求，並宣稱實現 100% 的工具呼叫成功率。這意味著開發者可以將其直接接入 Cursor、Claude Code、Aider 等程式設計助手，替代雲端的 OpenAI 模型，實現完全離線的程式碼生成與重構。對注重資料安全的團隊來說，這一點尤其有價值。

典型使用場景：本地開發者的祕密武器

想象一下，你正在使用 Cursor 寫程式碼，每個補全都需要傳送到雲端，延遲和隱私都是隱憂。換上 Rapid-MLX 作為後端，你只需修改一行 endpoint 配置，就能讓所有 AI 功能跑在本地的 Mac Studio 上。配合 推理分離，日常的小請求由本地模型極速響應，複雜任務自動路由到雲端的 Llama 405B 或 GPT-4，體驗無縫銜接。開發者會發現，除錯迴圈 的節奏明顯加快——不再需要等待網路往返。

相容性與侷限

Rapid-MLX 被設計為 OpenAI API 的即插即用替代，因此任何相容 OpenAI 的客戶端都可以直接切換。它目前僅支援 Apple Silicon（M1 及以上），並且模型格式相對有限（主要支援 MLX 格式）。與 Ollama 龐大的模型庫相比，Rapid-MLX 的生態仍在起步階段。如果你需要執行 GGUF 或非原生格式模型，可能需要額外轉換步驟。

Rapid-MLX 沒有試圖取代 Ollama，而是為特定場景提供了更銳利的工具。如果你恰好是 Apple Silicon 使用者，並且在本地推理中對速度和工具呼叫有執念，它值得你花十分鐘跑一遍 benchmark。