RelayLLM API 容錯與快取中介層

Relay 是介於應用和第三方大型語言模型 API 之間的中介 SDK，提供重試、跨廠商容錯切換、快取與遙測，示例支援 OpenAI 與 Anthropic 等廠商。

freemium

LLM 中介層API 容錯重試語意快取BYOK遙測SDKCloudflare Workers

收錄日期2026年7月22日

更新日期2026年7月26日

4.1 (0 評價數量)

登錄后可為項目評分

立即試用

Relay 是一款位於應用與第三方大型語言模型 API 之間的中介 SDK，代表性的第三方廠商包含 OpenAI 和 Anthropic。開發者不必自己撰寫重試與降級邏輯，只要把用戶端指向 Relay，就能取得內建的可靠性層。

核心能力

跨廠商容錯切換：主廠商不穩時自動切到備用廠商。
重試邏輯：使用去相關抖動退避，避免共同故障時的重試風暴。
回應快取：免費版支援精確比對快取，付費版支援語意快取。
遙測儀表板：檢視延遲、成本、快取命中率和容錯切換事件。

部署形態

代理層執行在 Cloudflare Workers 邊緣節點上。Relay 採用 BYOK 模式，使用者把自己的廠商金鑰加密託管，帳單關係仍在原廠商那裡。SDK 已發佈到 npm，套件名稱為 @relay-api/sdk，官網也提到 Python 支援。

方案

免費版約每月 1000 次請求，涵蓋基礎功能；付費方案包含 Hobby 每月 19 美元約 5 萬次、Pro 每月 49 美元約 25 萬次、Scale 每月 199 美元 100 萬次起。實際數字請以官網為準。

優缺點

優點

提供開箱即用的可靠性層，無須自研重試程式碼
BYOK 模式，帳單關係仍在原廠商那裡
語意快取能顯著減少相似 prompt 的重複消耗
部署於 Cloudflare 邊緣，額外延遲較低

缺點

在應用和 LLM 廠商之間多了一跳
語意快取與自訂重試策略需付費方案
評估時 Python SDK 的成熟度不如 JavaScript SDK

常見問題

Relay 是做什麼的？

一款位於應用與第三方大型語言模型 API 之間的中介 SDK，提供重試、跨廠商容錯切換、快取與遙測。

支援哪些模型廠商？

官網提到的第三方廠商包含 OpenAI 與 Anthropic，實際名單以官網為準。

還是直接向大模型廠商付費嗎？

是的，Relay 採用 BYOK 模式，使用者與大模型廠商的帳單關係不變。

有免費額度嗎？

有，免費版約每月 1000 次請求，包含基礎功能。

探索更多

相似工具

Bodega One Code

Bodega One Code 是一款本地優先的 AI 編碼 IDE, 內建聊天與自主 agent, 支援 Ollama、OpenAI、Anthropic 等 10+ 模型提供商。個人使用永久免費, 提供並行 agent (Fleet) 和自動化迴圈 (Loops), 注重資料隱私與模型自由。

Nadir

Nadir 是一款驗證器門控的 LLM 路由器：先用便宜模型回答，再由校準驗證器打分，質量不足才升級。官方稱可省 60% 成本、保持 98% 質量，OpenAI 相容、兩行接入，適合請求量大但複雜度不均的團隊。

StackBuilder

StackBuilder 是一款免費的 AI 雲架構圖生成工具，用自然語言描述系統即可自動生成 AWS、Azure、GCP、Kubernetes 等架構圖，支援匯出 PNG、SVG、PDF，無需註冊，適合系統設計面試、架構文件和演示場景。

Nest by RAVEN

Nest by RAVEN（官網品牌名 NestMux）是一款面向開發者的多 AI 終端工作臺，可在同一視窗並行執行 Claude、Gemini、Codex、Copilot 和 Aider，支援 Git worktrees、團隊終端共享、MCP 面板與廣播提示。本地優先、無遙測，免費開放下載，支援 macOS、Windows、Linux。

h5i

h5i是一款面向Claude Code、Codex等AI編碼代理的開源沙箱工具，將代理、Shell、依賴與瀏覽器放進同一個隔離邊界，輕量沙箱啟動不到200毫秒，支援匯出可審閱補丁與執行日誌，本地優先、無SaaS、單Rust二進位制。

Deep Work Plan

Deep Work Plan 是一套開源方法論, 通過 init.md 將任何倉庫改造成 AI 代理可執行的結構化環境: 原子任務、驗收標準、校驗門和可恢復狀態, 讓長週期編碼任務不跑偏。支援任意代理, 無鎖定, MIT 開源。

使用指南

徹底解決Google Antigravity回覆的語言問題

Google Antigravity 在任務規劃、應用生成、程式碼建構等場景中表現出色，但許多用戶都會遇到同一個困擾：明明想讓它輸出某種語言，但 Antigravity 經常自動切回英文。無論是任務計畫、執行方案、應用文案還是最終產物，都會出現「預設英文輸出」的問題，影響使用體驗。

開源專案

guidellm: 評估與優化LLM推理性能的開源工具

guidellm 是由 vLLM 團隊開發的開源工具，用於評估和優化大型語言模型（LLM）在生產環境中的推理性能。它提供壓力測試、延遲分析和吞吐量評估，幫助開發者識別瓶頸並調整部署配置。項目主要使用 Python 編寫，採用 Apache-2.0 許可證，在採集時擁有 1214 個星標。

ai-gateway: 基於 Envoy Gateway 的統一 AI 網關

ai-gateway 是一個基於 Envoy Gateway 的開源項目，提供統一的 API 網關來管理對多種生成式 AI 服務的訪問。它簡化了 AI 應用的集成與運維，支持負載均衡、緩存和速率限制等功能。項目使用 Go 語言開發，採用 Apache-2.0 許可證。

go-micro：融合AI與微服務的Go框架

go-micro是一個開源的Go程式語言框架，它融合了AI代理工具集與微服務架構，並支持MCP、A2A協議以及多LLM集成。該項目採用Apache-2.0許可證，主要使用Go語言開發。截至採集時，該項目在GitHub上獲得22755顆星。

Kun: 本地優先的 AI 代理工作區

Kun 是一個本地優先的 AI 代理工作區，通過共享 GUI 和 TUI 運行時統一編碼、寫作、設計、研究和自動化。項目主要使用 TypeScript 開發，許可證為 Other。截至採集時擁有 4813 個 GitHub 星標。

terax-ai: 輕量級Tauri桌面開發環境

terax-ai 是一個基於 Tauri 的桌面開發環境，體積僅 7-8 MB。它集成了 GPU 終端、CodeMirror 編輯器、Git 工具和多提供商 AI 代理，為開發者提供一體化的開發體驗。項目主要使用 TypeScript 編寫，採用 Apache-2.0 許可證。

jar-analyzer: Java JAR包分析GUI工具，集成AI助手

jar-analyzer 是一款開源的 Java JAR 包分析 GUI 工具，集成了 AI 助手。它提供 JAR DIFF、方法調用圖探索、DFS 調用鏈分析、汙點分析以及控制流圖程序分析等強大功能，適用於 Java 開發者和安全研究員，簡化代碼審計與逆向工程任務。項目主要語言為 Java，採用 GPL-3.0 許可證，在採集時擁有 2111 個星標。

立即試用