中級Python

LMCacheオープンソースのKVキャッシュ層、ファーストトークン遅延を低減

LMCacheは、LLMリクエストとエンジン間でアテンション状態を再利用するためのオープンソースのKVキャッシュ層であり、長いコンテキストやRAGワークロードのファーストトークン遅延を低減します。プロジェクトは主にPythonで書かれており、Apache-2.0ライセンスを採用しています。

10.2K スター

1.5K フォーク

392 イシュー

110 閲覧

Python

Apache-2.0

登録日2026年7月9日

Githubリポジトリオンラインデモ

プロジェクト概要

LMCache は、アテンション状態を再利用して LLM サービスのパフォーマンスを向上させる、オープンソースの KV キャッシュレイヤーです。リクエストやエンジンをまたいで KV キャッシュを再利用できるため、重複する計算を削減し、初回トークン遅延を低減できます。特に、長いコンテキストや RAG（検索拡張生成）ワークロードに適しています。

主な機能

リクエスト間での KV キャッシュ再利用：異なるリクエスト間でアテンション状態を共有し、重複した計算を回避します。
エンジン間の互換性：複数の推論エンジンをサポートし、既存システムに統合しやすくなります。
初回トークン遅延の低減：キャッシュ再利用により、応答速度を高速化します。

技術スタックとライセンス

このプロジェクトは主に Python で記述されており、Apache-2.0 ライセンスに基づいています。収集時点での GitHub スター数は 10183 です。

はじめ方

README によると、ユーザーはリポジトリをクローンして依存関係をインストールすることで使用を開始できます。具体的なインストール手順や設定手順は、プロジェクトのドキュメントを参照してください。

大規模言語モデル推論高速化KVキャッシュLLM最適化オープンソースツール推論遅延低減大規模モデルデプロイPythonツールLMCache効率化ツールキャッシュ層

情報ソースと検証

本項目はプロジェクトの一次ソースに基づき編集・検証しています：

最終検証:: 2026年7月9日
検証者:: SoFarBot 編集チーム

プロジェクトが本物のリポジトリに解決されることを確認し、分類し、オープンソースライセンスと言語を付与します。スター数や最終コミットなどの指標は上流リポジトリを反映し、その変化に応じて更新されます。

プロジェクト評価

0.0 (0 レビュー)

ログイン後に評価できます

よくある質問

LMCache：オープンソースのKVキャッシュ層、ファーストトークン遅延を低減とは？

LMCache：オープンソースのKVキャッシュ層、ファーストトークン遅延を低減はどのプログラミング言語で開発されていますか？

LMCache：オープンソースのKVキャッシュ層、ファーストトークン遅延を低減は主にPythonで開発されています。

LMCache：オープンソースのKVキャッシュ層、ファーストトークン遅延を低減のライセンスは何ですか？

LMCache：オープンソースのKVキャッシュ層、ファーストトークン遅延を低減はApache-2.0ライセンスで公開されています。

類似ツール

Nika

Nika は、AI コンパニオンアプリ群です。Nika AI 彼女、Sebastian AI 彼氏、そして恋愛シミュレーションゲームの Aurora City を含みます。Telegram とウェブ版で、テキスト・音声・マルチメディアのロールプレイを提供しており、レベルに応じて進行する親密度システムを備えています。

Filently

Filentlyはスイス製のAIツールで、Google Drive内のドキュメントを自動的にリネームし、アーカイブします。既存のフォルダ構造を学習し、OCRにより日付、仕入先、金額を認識します。

PakBot

PakBot は、パキスタン初の AI アシスタントと自称しており、ウルドゥー語、英語、パンジャブ語、シンド語、パシュトゥー語などで無料でチャットでき、画像生成、音声対話、インターネット検索にも対応しています。

WeiClaw

WeiClawはAgentソフトウェアと連携して動作するスマートハードウェアデバイスで、Agentの状態をリアルタイムで監視し、メッセージチャネルを引き継ぎます。ホストはタスクがないときはスリープし、メッセージがあれば自動的に起動してリクエストを処理します。

Ruler Online Free

Ruler Online Free はオンライン定規ツールです。画面上に実寸の定規を表示し、画面サイズまたはPPIを入力してキャリブレーションすることで、正確な測定を保証します。センチメートル、ミリメートル、インチに対応し、PDF（12インチ、8インチ、分度器）として印刷できます。登録不要、広告なし、インストール不要で、あらゆる最新ブラウザで動作します。