Floway在 Cloudflare Workers 上搭建 LLM API 閘道器

如果你手頭有多個 LLM 服務商的 API 金鑰，或者團隊裡幾個人共用同一個配額，管理起來確實有點麻煩。尤其是想追蹤每個金鑰用了多少、誰在呼叫、有沒有超支——這些需求雖然不復雜，但手動搞還是挺頭疼的。

Floway 就是衝著這個問題來的。它是一個執行在 Cloudflare Workers 上的 API 閘道器，專門為 LLM 請求設計。你可以在幾行配置裡把多個上游（比如 OpenAI、Azure、自部署模型）的介面統一成一個端點，然後給每個使用者或應用分配不同的金鑰，系統會自動統計每個金鑰的請求次數和 token 消耗。

輕量部署，幾乎零維護

因為跑在 Cloudflare Workers 上，Floway 天生就享受全球邊緣網路的優勢：延遲低、幾乎不限地域。你不需要自己租伺服器，也不用管 Docker 容器，只要把專案程式碼 wrangler deploy 一下就能上線。GitHub 上已經有現成的 wrangler.toml 模板，改幾個環境變數就完工。

對於獨立開發者或者小團隊來說，這種「寫完就忘」的部署體驗非常實在。不用半夜起來修閘道器，不用操心證書過期，Cloudflare 幫你兜底了。

多金鑰管理與統計

Floway 的核心功能是 多金鑰輪換與用量統計。你可以在配置裡放一堆上游 API 金鑰，閘道器會按照你設定的策略（比如加權、輪詢）分配請求。每個下游請求會帶著一個自定義的「群組」標識，這樣你就能看清哪些專案、哪些使用者在消耗資源。

• 支援 Copilot、Azure OpenAI 以及任意自定義上游
• 自動記錄每個金鑰的 token 用量和請求次數
• 提供簡單的統計檢視（需要配合 Dashboard 或匯出日誌）
• 用 TypeScript 編寫，二次擴充套件或修改邏輯很方便

這些功能聽起來挺基礎，但實際用起來會發現——把「誰用了多少」這件事搞清楚，就已經幫了大忙。很多小專案就是因為用量不透明，月底對賬才發現某個金鑰被濫用。

適用場景與限制

Floway 的定位很明確：輕量、低成本、面向開發者。如果你只是在幾個小應用裡呼叫 LLM，或者想給朋友的機器人搭個共享閘道器，它足夠用了。但別指望它能跟企業級的 API 管理平臺（比如 Kong、Kubernetes Gateway）比功能——它沒有鑑權以外的安全策略，也沒有限流、快取等高階特性。

另外，Cloudflare Workers 的免費額度是每天 10 萬次請求，對一般使用來說很足，但如果你的呼叫量很大，可能需要升級付費計劃。Floway 本身是 MIT 協議開源，程式碼完全自由。

總的來說，Floway 是一件趁手的小工具。它不追求大而全，而是在 Cloudflare Workers 這個極簡平臺上把「LLM API 代理與統計」這件事做紮實了。如果你恰好需要這麼一層薄閘道器，值得花十分鐘試試。