LMCache是一個開源的KV緩存層，用於在LLM請求和引擎之間復用注意力狀態，從而降低長上下文和RAG工作負載的首字延遲。項目主要使用Python編寫，採用Apache-2.0許可證。
LMCache是一個開源的KV緩存層，旨在通過復用注意力狀態來提升LLM服務的性能。它能夠跨請求和引擎重用KV緩存，從而減少重複計算，降低首字延遲，特別適用於長上下文和RAG（檢索增強生成）工作負載。
該項目主要使用Python編寫，遵循Apache-2.0許可證。截至採集時，GitHub星標數為10183。
根據README，用戶可以通過克隆倉庫並安裝依賴來開始使用。具體安裝和配置步驟請參考項目文檔。
本條目依據該專案的一手來源整理並經編輯核驗：
我們核實專案解析到其真實倉庫，為其歸類，並標註開源授權與開發語言。星標、最近提交等指標取自上游倉庫，並隨其變化持續刷新。
LMCache是一個開源的KV緩存層，用於在LLM請求和引擎之間復用注意力狀態，從而降低長上下文和RAG工作負載的首字延遲。項目主要使用Python編寫，採用Apache-2.0許可證。
LMCache: 開源KV緩存層，降低首字延遲 主要使用 Python 開發。
LMCache: 開源KV緩存層，降低首字延遲 基於 Apache-2.0 授權開源。
Nika
Nika 是一組 AI 陪伴應用，包含 Nika AI 女友、Sebastian AI 男友以及 Aurora City 戀愛模擬遊戲。透過 Telegram 與網頁端提供文字、語音和多媒體角色扮演，並設有依等級推進的親密度系統。
Filently
Filently 是一款瑞士打造的 AI 工具，可在 Google Drive 中自動重新命名並歸檔文件，學習你既有的資料夾結構，並透過 OCR 辨識日期、供應商與金額。
PakBot
PakBot 自稱是巴基斯坦首款 AI 助手，可用烏爾都語、英語、旁遮普語、信德語、普什圖語等免費聊天，並支援生成圖片、語音對話與聯網搜尋。
WeiClaw
WeiClaw 是一款配合 Agent 軟體運行的智慧硬體裝置，即時監控 Agent 狀態並接管訊息通道，讓主機在無任務時休眠、有訊息時自動喚醒去處理請求。
Ruler Online Free
Ruler Online Free 是一款在線尺子工具，能在屏幕上顯示真實尺寸的尺子，並通過輸入屏幕尺寸或 PPI 進行校準，確保測量準確。支持釐米、毫米和英寸，可列印為 PDF（12英寸、8英寸、量角器）。無需註冊、無廣告、無需安裝，適用於任何現代瀏覽器。
PDFPuddle
PDFPuddle 是一款完全在瀏覽器端執行的 PDF 工具箱，提供 32 項合併、轉換、編輯、簽署、OCR 與 AI 摘要等功能，檔案在本地處理不上傳伺服器。
評論
暫無評論
成為第一個評論的人