RelayLLM APIのフォールトトレランスとキャッシュを実現する中間層

Relay は、アプリケーションとサードパーティの大規模言語モデル API の間に位置するミドルウェア SDK です。リトライ、クロスベンダーのフェイルオーバー、キャッシュ、テレメトリーを提供し、例として OpenAI や Anthropic などのベンダーをサポートしています。

freemium

LLMミドルウェアAPIフォールトトレランスリトライセマンティックキャッシュBYOKテレメトリーSDKCloudflare Workers

登録日2026年7月22日

更新日2026年7月26日

4.1 (0 レビュー数)

ログイン後に評価できます

今すぐ試す

Relay は、アプリケーションと OpenAI や Anthropic などのサードパーティ製大規模言語モデル API の間に位置するミドルウェア SDK です。開発者はリトライやフォールバックのロジックを自前で書く必要はなく、クライアントを Relay に向けるだけで、組み込みの信頼性レイヤーを利用できます。

主要機能

ベンダー間の自動フェイルオーバー：プライマリベンダーが不安定な場合、自動的にバックアップベンダーへ切り替えます。
リトライロジック：デコリレイテッド・ジッター・バックオフを使用し、共通障害発生時のリトライストームを回避します。
レスポンスキャッシュ：無料版は完全一致キャッシュ、有料版はセマンティックキャッシュに対応しています。
テレメトリーダッシュボード：レイテンシー、コスト、キャッシュヒット率、フェイルオーバーイベントを確認できます。

デプロイ形態

プロキシレイヤーは Cloudflare Workers のエッジノード上で動作します。Relay は BYOK 方式を採用しており、ユーザーは自身のベンダーキーを暗号化して預ける形になります。課金関係は元のベンダーに残ります。SDK は npm に公開されており、パッケージ名は @relay-api/sdk です。公式サイトでは Python サポートにも言及されています。

料金プラン

無料版は月間約 1,000 リクエストで、基本機能をカバーします。有料プランには Hobby（月額 19 ドル・約 5 万リクエスト/月）、Pro（月額 49 ドル・約 25 万リクエスト/月）、Scale（月額 199 ドル・100 万リクエスト/月〜）があります。具体的な数値は公式サイトをご確認ください。

メリット・デメリット

メリット

すぐに使える信頼性レイヤーを提供し、再試行コードを自前で実装する必要がない
BYOK方式なので、請求関係は元のベンダーに残る
セマンティックキャッシュにより、類似プロンプトの重複消費を大幅に削減できる
Cloudflareエッジに展開されているため、追加レイテンシが低い

デメリット

アプリとLLMベンダーの間にホップが一つ増える
セマンティックキャッシュとカスタム再試行戦略は有料プランが必要
評価時点では、Python SDKの成熟度はJavaScript SDKに劣る

よくある質問

Relay は何をするものですか？

アプリケーションとサードパーティの大規模言語モデルAPIの間に位置するミドルウェアSDKで、リトライ、ベンダー間のフェイルオーバー、キャッシュ、テレメトリーを提供します。

どのモデルベンダーをサポートしていますか？

公式サイトで言及されているサードパーティにはOpenAIとAnthropicが含まれますが、詳細なリストは公式サイトをご確認ください。

それでも直接モデルベンダーに支払いますか？

はい。RelayはBYOK方式を採用しているため、ユーザーとモデルベンダーとの請求関係は変わりません。

無料枠はありますか？

はい、あります。無料版は月約1000リクエストで、基本機能が含まれています。

類似ツール

TrueCode

プログラミング面接でAIを禁止するのは現実的でなくなった。TrueCodeは候補者がAIとの協働でどう判断するかをTruScore™で可視化し、後置カメラでその過程を記録する、新しいタイプの開発者評価ツールだ。

AgentSite

AgentSiteはReact/Vue製SPAをChatGPTやClaude、PerplexityといったAIエージェントにも見えるようにする中間層。コードを変えずにmeta・JSON-LD・markdownを注入し、無料診断で即座にスコアを確認できる。nginx、Express、Edge対応。

Bodega One Code

Bodega One Code 是一款本地优先的 AI 编码 IDE, 内置聊天与自主 agent, 支持 Ollama、OpenAI、Anthropic 等 10+ 模型提供商。个人使用永久免费, 提供并行 agent (Fleet) 和自动化循环 (Loops), 注重数据隐私与模型自由。

Nadir

Nadir 是一款验证器门控的 LLM 路由器：先用便宜模型回答，再由校准验证器打分，质量不足才升级。官方称可省 60% 成本、保持 98% 质量，OpenAI 兼容、两行接入，适合请求量大但复杂度不均的团队。

StackBuilder

StackBuilder は自然言語でシステムを記述するだけで、AWS や Azure などのクラウド構成図を自動生成する無料ツール。登録不要で PNG・SVG・PDF に書き出せ、設計レビューや面接対策に便利。

Nest by RAVEN

Nest by RAVEN（官网品牌名 NestMux）是一款面向开发者的多 AI 终端工作台，可在同一窗口并行运行 Claude、Gemini、Codex、Copilot 和 Aider，支持 Git worktrees、团队终端共享、MCP 面板与广播提示。本地优先、无遥测，免费开放下载，支持 macOS、Windows、Linux。

使い方ガイド

Googleアンチグラビティの返信における言語問題を徹底的に解決する

Google Antigravityは、タスク計画、アプリケーション生成、コード構築などのシナリオで優れた性能を発揮していますが、多くのユーザーが同じ悩みに直面しています：特定の言語で出力させたいのに、Antigravityが頻繁に自動的に英語に切り替わってしまうことです。タスク計画、実行計画、アプリケーションの文案、最終成果物のいずれにおいても、「デフォルトで英語が出力される」問題が発生し、使用体験に影響を与えています。

オープンソース代替

guidellm：LLM推論性能を評価・最適化するオープンソースツール

guidellmは、vLLMチームによって開発されたオープンソースツールで、本番環境における大規模言語モデル（LLM）の推論性能を評価・最適化するためのものです。負荷試験、レイテンシ分析、スループット評価を提供し、開発者がボトルネックを特定してデプロイ構成を調整するのに役立ちます。プロジェクトは主にPythonで記述されており、Apache-2.0ライセンスを採用しています。収集時点で1214スターを獲得しています。

ai-gateway：Envoy Gateway ベースの統一 AI ゲートウェイ

ai-gateway は、Envoy Gateway をベースにしたオープンソースプロジェクトで、複数の生成 AI サービスへのアクセスを管理する統一 API ゲートウェイを提供します。AI アプリケーションの統合と運用を簡素化し、ロードバランシング、キャッシュ、レート制限などの機能をサポートしています。このプロジェクトは Go 言語で開発され、Apache-2.0 ライセンスを採用しています。

go-micro：AIとマイクロサービスを融合したGoフレームワーク

go-microは、AIエージェントツールセットとマイクロサービスアーキテクチャを融合したオープンソースのGoプログラミング言語フレームワークです。MCP、A2Aプロトコル、および複数のLLM統合をサポートしています。このプロジェクトはApache-2.0ライセンスを採用し、主にGo言語で開発されています。収集時点で、このプロジェクトはGitHubで22755のスターを獲得しています。

Kun：ローカル優先のAIエージェントワークスペース

Kunはローカル優先のAIエージェントワークスペースです。共有GUIおよびTUIランタイムを通じて、コーディング、ライティング、デザイン、リサーチ、自動化を統合します。プロジェクトは主にTypeScriptで開発されており、ライセンスはOtherです。収集時点で4813個のGitHubスターを獲得しています。

terax-ai：軽量Tauriデスクトップ開発環境

terax-aiはTauriベースのデスクトップ開発環境で、サイズはわずか7-8MBです。GPUターミナル、CodeMirrorエディタ、Gitツール、および複数のプロバイダーに対応したAIエージェントを統合し、開発者に一体型の開発体験を提供します。プロジェクトは主にTypeScriptで書かれており、Apache-2.0ライセンスを採用しています。

jar-analyzer: Java JARパッケージ解析GUIツール、AIアシスタント統合

jar-analyzer は、オープンソースの Java JAR パッケージ解析 GUI ツールで、AI アシスタントを統合しています。JAR DIFF、メソッド呼び出しグラフ探索、DFS 呼び出しチェーン分析、汚染分析、および制御フローグラフのプログラム分析などの強力な機能を提供し、Java 開発者やセキュリティ研究者に適しており、コード監査とリバースエンジニアリングのタスクを簡素化します。プロジェクトの主要言語は Java で、GPL-3.0 ライセンスを採用しており、収集時点で 2111 個のスターを保有しています。

今すぐ試す