XERJgrepより40倍省トークンなAIデータ索引

ここ数カ月、AIエージェント向けのオープンソースプロジェクトがGitHubで目立つようになった。ただ、その多くは会話のフレームワークやツール呼び出しにフォーカスしていて、もっと地味な「データをどう読むか」という部分に踏み込むものは少ない。XERJはその隙間を狙ったプロジェクトだ。

XERJの売りは、autoindexという自動索引機能。ターミナルで1コマンド実行するだけで、コード、ドキュメント、ログ、PDFを横断的に索引化してくれる。あとはその索引にクエリを投げるだけ。RAGの材料にしたい、セキュリティ監査でログを調べたい、AIエージェントに長期記憶を持たせたい——そんな場面で、毎回ファイルを開いて中身をそのままモデルに流す必要がなくなる。

公式が掲げる数字は、grepより40倍少ないトークンで検索できるというもの。grepは行単位で中身を全部出力するから、モデルに渡すテキスト量がかさむ。一方、索引から該当する断片だけを取り出せば、やり取りはコンパクトに済む。理屈としては納得できる。ただ、この40倍という数字はあくまで公式の主張で、テスト環境は明かされていない。実際の効果はデータ次第だ。

Elasticsearch互換という現実的な選択

もう一つ注目したいのがElasticsearch互換の設計だ。既存のESクライアントがそのまま動くという方針で、クエリを書き直す手間を大幅に省ける。Elasticsearchをすでに運用しているチームなら、乗り換えの心理的ハードルはだいぶ下がるだろう。とはいえ、互換性の深さは公式ドキュメントだけでは判断しづらい。本格的に使うなら、手元のクライアントで実際に接続テストをするのが確実だ。

どんな場面で力を発揮するか

Aiエージェントにローカルデータへアクセスさせる必要があるなら、XERJは候補になる。具体的には、次のようなケースで効果が期待できる。

• RAG知識庫: PDFやドキュメントを索引化し、検索結果だけをモデルに渡すことでトークン消費を抑える
• セキュリティ監査: ログやコードのパターンを素早く検索し、不審な箇所を絞り込む
• エージェントの長期記憶: 過去のやり取りやファイル内容を索引に保存し、必要なときだけ参照する
• 大規模コードベースの検索: 関数や定義を探す際に、全ファイルを読み込むより効率的

項目を見ても分かる通り、XERJが解決するのは「検索の速さ」よりもむしろ「モデルに渡すテキスト量の削減」だ。その意味で、トークン料金が気になり始めたタイミングのチームには刺さる。

GitHubでの公開状況と導入の注意点

プロジェクトはRustで書かれている。GitHubではすでに1405スターを集めており、小さなプロジェクトとしては注目を集めている部類。ただし、公開されている技術情報はまだ少なく、アーキテクチャの解説や丁寧なマニュアルは見つからない。本番で使うなら、実データで索引の精度と既存クライアントとの互換性を確認してから判断してほしい。

また、「40倍」の数字に飛びつくのは早い。索引を構築・更新するコストが逆に膨らむケース、例えば更新が頻繁なディレクトリや小さいファイルが多い構成では、grepの方が結果的に安く済む可能性もある。数字はあくまで目安として、自分のワークロードで測るのが一番だ。

XERJの面白さは、AIのデータアクセスを「全部読ませる」から「必要な部分だけ引っ張り出す」へ切り替える発想にある。トークン削減に頭を痛めている人や、Elasticsearchの資産を活かしたい人にとって、チェックする価値はありそうだ。