Floway在 Cloudflare Workers 上搭建 LLM API 网关

如果你手头有多个 LLM 服务商的 API 密钥，或者团队里几个人共用同一个配额，管理起来确实有点麻烦。尤其是想追踪每个密钥用了多少、谁在调用、有没有超支——这些需求虽然不复杂，但手动搞还是挺头疼的。

Floway 就是冲着这个问题来的。它是一个运行在 Cloudflare Workers 上的 API 网关，专门为 LLM 请求设计。你可以在几行配置里把多个上游（比如 OpenAI、Azure、自部署模型）的接口统一成一个端点，然后给每个用户或应用分配不同的密钥，系统会自动统计每个密钥的请求次数和 token 消耗。

轻量部署，几乎零维护

因为跑在 Cloudflare Workers 上，Floway 天生就享受全球边缘网络的优势：延迟低、几乎不限地域。你不需要自己租服务器，也不用管 Docker 容器，只要把项目代码 wrangler deploy 一下就能上线。GitHub 上已经有现成的 wrangler.toml 模板，改几个环境变量就完工。

对于独立开发者或者小团队来说，这种“写完就忘”的部署体验非常实在。不用半夜起来修网关，不用操心证书过期，Cloudflare 帮你兜底了。

多密钥管理与统计

Floway 的核心功能是 多密钥轮换与用量统计。你可以在配置里放一堆上游 API 密钥，网关会按照你设定的策略（比如加权、轮询）分配请求。每个下游请求会带着一个自定义的“群组”标识，这样你就能看清哪些项目、哪些用户在消耗资源。

• 支持 Copilot、Azure OpenAI 以及任意自定义上游
• 自动记录每个密钥的 token 用量和请求次数
• 提供简单的统计视图（需要配合 Dashboard 或导出日志）
• 用 TypeScript 编写，二次扩展或修改逻辑很方便

这些功能听起来挺基础，但实际用起来会发现——把“谁用了多少”这件事搞清楚，就已经帮了大忙。很多小项目就是因为用量不透明，月底对账才发现某个密钥被滥用。

适用场景与限制

Floway 的定位很明确：轻量、低成本、面向开发者。如果你只是在几个小应用里调用 LLM，或者想给朋友的机器人搭个共享网关，它足够用了。但别指望它能跟企业级的 API 管理平台（比如 Kong、Kubernetes Gateway）比功能——它没有鉴权以外的安全策略，也没有限流、缓存等高级特性。

另外，Cloudflare Workers 的免费额度是每天 10 万次请求，对一般使用来说很足，但如果你的调用量很大，可能需要升级付费计划。Floway 本身是 MIT 协议开源，代码完全自由。

总的来说，Floway 是一件趁手的小工具。它不追求大而全，而是在 Cloudflare Workers 这个极简平台上把“LLM API 代理与统计”这件事做扎实了。如果你恰好需要这么一层薄网关，值得花十分钟试试。