AnubisHTTPリクエストを計量し、AIクローラーをブロック

ここ2年で、AIクローラーはウェブサイト運営者にとって頭痛の種のひとつとなっている。大手AIモデル各社が学習用にウェブページのコンテンツを収集し続ける一方、通常のトラフィックと悪意のあるクローラーが混在し、見分けがつかない状況が続いている。オープンソースプロジェクト「Anubis」は、そこにかなり詩的な方法で立ち向かう——受け取ったすべてのHTTPリクエストの「魂を量る」というアプローチだ。

このプロジェクトはTecharoHQが開発し、Go言語で書かれている。リポジトリの紹介は1文だけだが、スター数はすでに2.1万を超えており、この問題がどれほど一般的であるかを物語っている。

具体的にどのような問題を解決するのか

ウェブサイトのログには、人間以外のトラフィックが大量に記録される。そうしたアクセスは一般ユーザーのようにページを閲覧するのではなく、テキストや画像を高速で収集し、robots.txtを迂回することもある。Anubisのアイデアは、リクエストが実際のサーバーに到達する前に、まず「人間らしさ」を判定するというものだ。リクエストがAIクローラーと判断されれば、その場で遮断する。

特徴は次のようにまとめられる：

• オープンソース・無料：コードはGitHubで完全に公開されており、誰でもレビューや修正が可能。
• Go言語で実装：デプロイ成果物は単一のバイナリで、リソース消費は比較的少ない。
• 活発なメンテナンス：リポジトリには871件のコミットがあり、281件のオープンなissueでエッジケースが議論されている。

この種のツールが注目に値する理由

AIクローラーの問題が消えることはなく、むしろますます一般的になるだろう。コンテンツ制作者や個人サイト運営者にとって、トラフィックと帯域幅はコストであり、クローラーに無駄に消費されるのは大きな損失だ。Anubisは、攻撃が発生してから対処するのではなく、判断を前段階に置くという軽量な防御アプローチを提供している。

もちろん、公式に公開されている技術的詳細は限られている。たとえば、どのような特徴を使ってAIクローラーを識別しているのかは、現時点では明確に説明されていない。詳しく知りたい場合は、ソースコードを直接読むしかない。

使用前に知っておくべきこと

Anubisは、インストールすればすぐ使えるSaaSではなく、自前でのデプロイが必要なサービスだ。公式のホスティング版は提供されておらず、設定はすべて環境変数またはコマンドライン引数で行う。つまり、ある程度のサーバー運用の知識が必要になる。ただし、オープンソースプロジェクトであるがゆえに、コミュニティにはすでに二次開発やデプロイのチュートリアルが数多く存在する。

また、Anubisが遮断するのは「AIクローラーの疑いがある」リクエストであり、通常のユーザーに誤判定が及ぶ可能性は常にある。デプロイ前にまず小規模な範囲でテストし、実際のユーザーアクセスへの影響を確認したうえで、徐々に適用範囲を広げるのがよいだろう。

異常なクローラートラフィックに悩まされているなら、Anubisをテストリストに加えてみてはいかがだろうか。まずは小規模なトラフィックでしばらく試し、通常のリクエストへの影響を観察してから、全面導入を判断するのが賢明だ。