RelayLLM API 容错与缓存中间层

Relay 是介于应用和第三方大模型 API 之间的中间件 SDK，提供重试、跨厂商故障切换、缓存与遥测，示例支持 OpenAI 与 Anthropic 等厂商。

freemium

LLM 中间件API 容错重试语义缓存BYOK遥测SDKCloudflare Workers

收录日期2026年7月22日

更新日期2026年7月26日

4.1 (0 评价数量)

登录后可为项目评分

立即试用

Relay 是一款位于应用与第三方大模型 API 之间的中间件 SDK，代表性的第三方厂商包括 OpenAI 和 Anthropic。开发者不必自己写重试和降级逻辑，只要把客户端指向 Relay，就能拿到内置的可靠性层。

核心能力

跨厂商故障切换：主厂商不稳时自动切到备用厂商。
重试逻辑：使用去相关抖动退避，避免共享故障时的重试风暴。
响应缓存：免费版支持精确匹配缓存，付费版支持语义缓存。
遥测面板：查看延迟、成本、缓存命中率和故障切换事件。

部署形态

代理层运行在 Cloudflare Workers 边缘节点上。Relay 采用 BYOK 模式，用户把自己的厂商密钥加密托管，账单关系仍在原厂商那里。SDK 已发布到 npm，包名 @relay-api/sdk，官网也提及 Python 支持。

套餐

免费版约每月 1000 次请求，覆盖基础功能；付费方案包含 Hobby 19 美元每月约 5 万次、Pro 49 美元每月约 25 万次、Scale 199 美元每月 100 万次起。具体数字请以官网为准。

优缺点

优点

提供开箱即用的可靠性层，无需自研重试代码
BYOK 模式，账单关系仍在原厂商那里
语义缓存能显著减少相似 prompt 的重复消耗
部署在 Cloudflare 边缘，附加延迟较低

缺点

在应用和 LLM 厂商之间多了一跳
语义缓存与自定义重试策略需付费方案
评估时 Python SDK 的成熟度不如 JavaScript SDK

常见问题

Relay 是做什么的？

一款位于应用和第三方大模型 API 之间的中间件 SDK，提供重试、跨厂商故障切换、缓存和遥测。

支持哪些模型厂商？

官网提到的第三方厂商包括 OpenAI 与 Anthropic，具体名单以官网为准。

还是直接向大模型厂商付费吗？

是的，Relay 采用 BYOK 模式，用户与大模型厂商的账单关系不变。

有免费额度吗？

有，免费版约每月 1000 次请求，包含基础功能。

探索更多

相似工具

StackBuilder

StackBuilder 是一款免费的 AI 云架构图生成工具，用自然语言描述系统即可自动生成 AWS、Azure、GCP、Kubernetes 等架构图，支持导出 PNG、SVG、PDF，无需注册，适合系统设计面试、架构文档和演示场景。

Nest by RAVEN

Nest by RAVEN（官网品牌名 NestMux）是一款面向开发者的多 AI 终端工作台，可在同一窗口并行运行 Claude、Gemini、Codex、Copilot 和 Aider，支持 Git worktrees、团队终端共享、MCP 面板与广播提示。本地优先、无遥测，免费开放下载，支持 macOS、Windows、Linux。

h5i

h5i是一款面向Claude Code、Codex等AI编码代理的开源沙箱工具，将代理、Shell、依赖与浏览器放进同一个隔离边界，轻量沙箱启动不到200毫秒，支持导出可审阅补丁与执行日志，本地优先、无SaaS、单Rust二进制。

Deep Work Plan

Deep Work Plan 是一套开源方法论, 通过 init.md 将任何仓库改造成 AI 代理可执行的结构化环境: 原子任务、验收标准、校验门和可恢复状态, 让长周期编码任务不跑偏。支持任意代理, 无锁定, MIT 开源。

Spanly

Spanly 是一款面向 MCP 服务器的可观测性与监控工具，帮助 SaaS 团队在生产环境中追踪错误率、会话轨迹、延迟与客户端行为。支持 CLI/SDK 快速接入，可与现有监控栈共存，并提供美欧数据驻留选项。官方提供免费扫描，可快速定位协议层隐患。

Yaeris

Yaeris 是一个 MCP 服务器市场，开发者可以免费浏览和发布经过人工审核的 MCP 服务器，并支持 OAuth/API token 集成。基础功能免费，另有付费增值服务提升曝光。适合 AI agent 开发者和软件公司。

使用指南

彻底解决Google Antigravity回复的语言问题

Google Antigravity 在任务规划、应用生成、代码构建等场景中表现出色，但许多用户都会遇到同一个困扰：明明想让它输出某种语言，但 Antigravity 经常自动切回英文。无论是任务计划、执行方案、应用文案还是最终产物，都会出现「默认英文输出」的问题，影响使用体验。

开源项目

guidellm：评估与优化 LLM 推理性能的开源工具

guidellm 是由 vLLM 团队开发的开源工具，用于评估和优化大型语言模型（LLM）在生产环境中的推理性能。它提供压力测试、延迟分析和吞吐量评估，帮助开发者识别瓶颈并调整部署配置。项目主要使用 Python 编写，采用 Apache-2.0 许可证，在采集时拥有 1214 个星标。

ai-gateway：基于 Envoy Gateway 的统一 AI 网关

ai-gateway 是一个基于 Envoy Gateway 的开源项目，提供统一的 API 网关来管理对多种生成式 AI 服务的访问。它简化了 AI 应用的集成与运维，支持负载均衡、缓存和速率限制等功能。项目使用 Go 语言开发，采用 Apache-2.0 许可证。

Kun：本地优先的 AI 代理工作区

Kun 是一个本地优先的 AI 代理工作区，通过共享 GUI 和 TUI 运行时统一编码、写作、设计、研究和自动化。项目主要使用 TypeScript 开发，许可证为 Other。截至采集时拥有 4813 个 GitHub 星标。

go-micro：融合 AI 与微服务的 Go 框架

go-micro 是一个开源的 Go 编程语言框架，它融合了 AI 代理工具集与微服务架构，并支持 MCP、A2A 协议以及多 LLM 集成。该项目采用 Apache-2.0 许可证，主要使用 Go 语言开发。截至采集时，该项目在 GitHub 上获得22755颗星。

terax-ai：轻量级 Tauri 桌面开发环境

terax-ai 是一个基于 Tauri 的桌面开发环境，体积仅 7-8 MB。它集成了 GPU 终端、CodeMirror 编辑器、Git 工具和多提供商 AI 代理，为开发者提供一体化的开发体验。项目主要使用 TypeScript 编写，采用 Apache-2.0 许可证。

jar-analyzer: Java JAR 包分析 GUI 工具，集成 AI 助手

jar-analyzer 是一款开源的 Java JAR 包分析 GUI 工具，集成了 AI 助手。它提供 JAR DIFF、方法调用图探索、DFS 调用链分析、污点分析以及控制流图程序分析等强大功能，适用于 Java 开发者和安全研究员，简化代码审计与逆向工程任务。项目主要语言为 Java，采用 GPL-3.0 许可证，在采集时拥有 2111 个星标。

立即试用