如果一個開源專案能在 GitHub 上攢到 1.9 萬星,說明它戳中了某種普遍需求。freellmapi 正是這樣的專案:一個 OpenAI 相容代理,把 28 家 LLM 提供商的 免費額度 堆疊到同一個 /v1 端點後面。官方宣稱,這些免費額度加起來大約相當於每月 40 億 token。對個人開發者來說,這幾乎就是「免費模型全家桶」。
不過它並沒有把免費額度簡單灌進一個管道。freellmapi 的核心邏輯是做分發:請求進來以後,由代理決定交給哪家提供商,並在出錯時自動切換。專案用 TypeScript 編寫,定位非常明確——個人實驗。官方在描述裡毫不含糊地寫著 「Personal experimentation only」。
為什麼要做一個 LLM 聚合代理
現在的 LLM 生態已經碎片化了。各家廠商都有自己的 API、計費方式和免費額度,開發者常常要同時維護好幾套 key,還得記著哪家免費額度還沒用完。freellmapi 的思路是把這些零散的免費層打包,對外只暴露一個 統一端點。這樣,任何用慣 OpenAI API 的專案,只要把地址指過來,就能訪問背後多個模型。
這種設計對剛起步的個人專案尤其友好。你不需要先開通幾個付費服務,也不用為了測試不同模型各寫一套客戶端。改一行 base URL,剩下的由代理處理。
核心功能:路由、故障轉移與金鑰加密
- 智慧路由:在不同提供商之間分配請求,找到可用且合適的免費層。
- 自動故障轉移:某個提供商超時或不可用時,自動切換請求到備用端點。
- 加密金鑰:多個提供商的 API key 集中儲存,官方聲稱經過加密處理。
- 自定義端點:除內建的 28 家之外,還可以新增任何 OpenAI 相容的端點。
這些功能加在一起,等於把「管理多個模型賬號」這件事藏到了代理後面。你看到的只是一個標準 API,實際觸達的卻是幾十個不同的免費服務。
適合誰用,不適合誰用
官方已經把邊界劃清楚了:個人實驗。如果你在跑學習專案、做 demo、寫自動化指令碼,或者想橫向對比不同模型的輸出,freellmapi 能省下不少事。但如果你打算把它接到面向使用者的業務裡,建議三思。免費層通常伴隨 速率限制、低頻配額,穩定性也沒有保證;代理本身也可能成為單點故障。
另一個需要留神的地方是安全。所有提供商的金鑰集中在一個代理裡,雖然官方提到加密,但完整的實現細節沒有公開。如果你是謹慎派,可以先在隔離環境裡跑一個例項,觀察日誌,確認它不會把金鑰意外輸出到別處。
上手之前的小建議
倉庫目前有 19k 星、2.8k fork,社羣活躍度不低,說明有不少人在實際使用。但專案仍是實驗性質,API 和配置方式可能隨版本變化。動手前先去 GitHub 倉庫看 README,確認它內建了哪 28 家提供商、有沒有部署文件,再決定怎麼跑。別指望開箱即用——你需要自己獲取各提供商的免費額度憑證,並填入配置。
freellmapi 最吸引人的地方,是它把「免費」這件事認真做了產品化。如果你正在為模型訂閱發愁,或者想試試多個免費模型但又懶得管一大堆 key,它值得一試。記得把它當作一個玩具加強力工具,而不是生產依賴。










評論
暫無評論
成為第一個評論的人