AGI認知測定フレームワーク：DeepMindが新基準とKaggleハッカソンを提案

汎用人工知能（AGI）の進捗を測るのは、常に難しい問題だ。ここ数年、チェスや詩作、猫と犬の識別など、特定のタスクだけに特化した評価指標は数多く登場してきた。しかし、それらを寄せ集めても、とても「汎用的」とは呼べない。DeepMind が最近打ち出したのは、認知能力に基づく新たなフレームワークだ。断片的な評価をひとつに統合しようとする試みで、同時に Kaggle でハッカソンを開催し、開発者と一緒に評価ツールを構築しようとしている。

なぜ新しいフレームワークが必要なのか？

現在の AI 評価を取り巻く環境は、いわば群盲象を撫でるようなものだ。あるベンチマークは論理的推論を測り、別のものは常識的な質問応答、また別のものはコード生成を測る。しかし、それらの能力を全部足し合わせると AGI まであとどれだけなのか、という問いを立てる人はほとんどいない。DeepMind は、真に有用な評価とは 認知の複数の側面——たとえば推論、計画、学習効率、知識の転移などをカバーするものだと考えている。彼らのフレームワークは、AGI を測定可能な構成要素に分解する「能力の地図」を描くようなものだ。

このフレームワークは、ゼロから作られたものではない。心理学や認知科学における古典的な分類、たとえばキャッテル＝ホーン＝キャロル理論を参考にしている。ただし DeepMind はそれを工学的に応用し、抽象的な理論を具体的で検証可能なテスト指標に変換した。例を挙げると、「知識の転移」という側面では、AI があるタスクでスキルを習得した後、似ているが異なるタスクでそれを再現できるかどうか、つまり汎化能力が試される。

Kaggle ハッカソン：コミュニティで「穴埋め」をする

フレームワークは定まったが、評価タスクはまだ完成していない。DeepMind の賢いところは、その「穴埋め」の部分をコミュニティに委ねたことだ。ハッカソンの参加者は、フレームワークが指定する認知の側面をカバーする具体的な評価タスクを設計する。最終的に選ばれたタスクは、公開の AGI 評価ベンチマークに統合される。このようなクラウドソーシング方式は機械学習の分野では珍しくないが、AGI の測定に使うのはなかなか野心的だ。

開発者にとって、これは単なるコンテストではない。参加者は「真の知性とは何か」を深く考える機会を得ると同時に、自分の設計が業界標準の一部になる可能性もある。DeepMind はサンプルタスクもいくつか提供している。たとえば：

• 適応的学習：AI に未経験のインタラクティブ環境を与え、どれだけ早くルールを習得できるかを試す。
• クロスモーダル推論：テキストによる説明と1枚の画像を与え、説明が画像と一致するかを判断させる。
• 因果理解：出来事の連鎖を示し、「A を変えたら B はどうなるか」を AI に問う。

各タスクは 予測不能な組み合わせを重視しており、モデルが単純に記憶でスコアを稼ぐのを防いでいる。

実際の影響：なぜ注目すべきか？

このフレームワークがもたらす最も直接的な影響は、研究コミュニティに共通の参照軸を提供することだ。これまでは各研究者がバラバラに発表し、あるベンチマークでは高スコアでも、別のシナリオでは役に立たないということが起きていた。DeepMind のフレームワークが広く採用されれば、今後の論文やプロダクトの比較可能性が高まるだろう。

一般の観察者にとっても、このフレームワークは 「知能」を判断するための階段を提供する。たとえば、ある企業が自社のモデルは「AGI に近い」と主張したとき、私たちはフレームワークに照らして「中核となる認知の側面で、実際にいくつの関門をクリアしているのか？どの側面がまだ足りないのか？」と問うことができる。これは単なるスコアの羅列を見るよりずっと直感的だ。

課題と論争

もちろん、どのフレームワークにも論争はつきものだ。研究者の中には、認知能力そのものが動的に変化するものだと指摘する人もいる。今日「知能」の基準とされていることは、10年後には時代遅れになっているかもしれない。また、このフレームワークはどちらかといえば「人間の認知」に寄っている。AGI の形態が人間とはまったく異なるもの（たとえばシリコン基盤の生命体）だった場合、この物差しは当てはまらない可能性がある。

ハッカソンにも潜在的な問題がある。クラウドソーシングの評価は 品質にばらつきが出がちで、タスク間の一貫性をどう担保するのか。DeepMind は専門家による審査を設けるとしているが、実際の運用効果は今後の結果を見る必要がある。

しかし、いずれにせよ、これは痛いところを突いた試みだと言える。AI 評価はオカルトであってはならない。「機械は本当に賢くなったのか？」と問うには、より体系的な方法が必要だ。DeepMind のフレームワークはひとつの方向性を示し、Kaggle の開発者たちは今まさにそれを現実のものにしようとしている。