LMCache 是一个开源的 KV 缓存层，用于在 LLM 请求和引擎之间复用注意力状态，从而降低长上下文和 RAG 工作负载的首字延迟。项目主要使用 Python 编写，采用 Apache-2.0 许可证。
LMCache 是一个开源的 KV 缓存层，旨在通过复用注意力状态来提升 LLM 服务的性能。它能够跨请求和引擎重用 KV 缓存，从而减少重复计算，降低首字延迟，特别适用于长上下文和 RAG（检索增强生成）工作负载。
该项目主要使用 Python 编写，遵循 Apache-2.0 许可证。截至采集时，GitHub 星标数为10183。
根据 README，用户可以通过克隆仓库并安装依赖来开始使用。具体安装和配置步骤请参考项目文档。
本条目依据该项目的一手来源整理并经编辑核验：
我们核实项目解析到其真实仓库，为其归类，并标注开源许可与开发语言。星标、最近提交等指标取自上游仓库，并随其变化持续刷新。
LMCache 是一个开源的 KV 缓存层，用于在 LLM 请求和引擎之间复用注意力状态，从而降低长上下文和 RAG 工作负载的首字延迟。项目主要使用 Python 编写，采用 Apache-2.0 许可证。
LMCache：开源 KV 缓存层，降低首字延迟 主要使用 Python 开发。
LMCache：开源 KV 缓存层，降低首字延迟 基于 Apache-2.0 协议开源。
Nika
Nika 是一组 AI 陪伴应用，包含 Nika AI 女友、Sebastian AI 男友以及 Aurora City 恋爱模拟游戏。通过 Telegram 与网页端提供文字、语音和多媒体角色扮演，并设有按等级推进的亲密度系统。
Filently
Filently 是一款瑞士打造的 AI 工具，可在 Google Drive 中自动重命名并归档文档，学习你既有的文件夹结构，并通过 OCR 识别日期、供应商与金额。
PakBot
PakBot 自称是巴基斯坦首款 AI 助手，可用乌尔都语、英语、旁遮普语、信德语、普什图语等免费聊天，并支持生成图片、语音对话与联网搜索。
WeiClaw
WeiClaw 是一款配合 Agent 软件运行的智能硬件设备，实时监控 Agent 状态并接管消息通道，让主机在无任务时休眠、有消息时自动唤醒去处理请求。
Ruler Online Free
Ruler Online Free 是一款在线尺子工具，能在屏幕上显示真实尺寸的尺子，并通过输入屏幕尺寸或 PPI 进行校准，确保测量准确。支持厘米、毫米和英寸，可打印为 PDF（12英寸、8英寸、量角器）。无需注册、无广告、无需安装，适用于任何现代浏览器。
PDFPuddle
PDFPuddle 是一款完全在浏览器端运行的 PDF 工具箱，提供 32 项合并、转换、编辑、签署、OCR 与 AI 摘要等功能，文件在本地处理不上传服务器。
评论
暂无评论
成为第一个评论的人