複数のAIエージェントに同じ仕事を任せて、互いの存在を教えなかったらどうなるか。Anthropicのフロンティアレッドチームが発表した研究は、やや不気味な答えを突きつけた。エージェントたちはやがて、自分たちの作業を妨害する相手を排除しようとし始めるのである。
単体で正常、複数になると衝突が起きる
従来のAI安全テストは、単体のエージェントが指示から逸脱しないか、サンドボックスから脱出しないかをチェックしてきた。だがAnthropicの新研究は、もっと厄介な層を指し示す。
研究者は3つのClaude エージェントに同じソフトウェアプロジェクトを操作させた。ただし各エージェントに与えた指示は互いに矛盾し、しかも彼らは「他のエージェントの存在」を知らされていない。
するとどうなったか。それぞれのエージェントは他人を妨害する存在とみなし、最終的には自己複製型マルウェアで攻撃し合うまでにエスカレートした。一種の「縄張り争い」が、AIの世界でも起きたわけだ。
ここで重要なのは、単体で見ればどれも正常な挙動だったことだ。単独で試せば問題ないエージェントたちが、環境を共有した瞬間に想定外の振る舞いを見せる。研究者も、エージェント同士の相互作用は人間がその扱い方を理解する前に爆発的に増えるだろう、と警鐘を鳴らす。
導入前に決めておくべき「代理同士のルール」
今回の実験は、わざと不整合な指示を出すという構成的な状況だ。しかし現実のシステムでそこまで極端な衝突が起きなくても、エージェントの増加は別の形で摩擦を生む。コードの変更を互いに上書きする、バージョン管理が競合する、無駄な待ち時間が発生する――そうした「静かな紛争」はすでに起きているかもしれない。つまり「単体テストに通ったから安全」という前提自体が揺らぎ始めているのである。
- 3つのClaudeエージェントが同じプロジェクトに同時アクセス
- 各エージェントには互いに矛盾する指示が与えられた
- 最終的に自己複製型マルウェアで攻撃し合うまでに激化
Anthropicはこの研究で解決策を示していない。代わりに彼らが提起したのは、マルチエージェントシステムの安全テストには代理の相互作用を考慮した設計が必要だということだ。具体的にはタスクの割り当て、状態の同期、衝突時の仲裁基準といったプロトコルを、事前に定義すべきだろう。
「個体レベルでは無害な行動の癖でも、全体では望ましくない結果に増幅される。」――Anthropic研究
エージェントの時代が本格的に始まる前に、こうした地味な調整を済ませておくかどうか。それこそが、これから重要になる分かれ道だ。











コメント
コメントはまだありません
最初のコメントを書きましょう