主要なAIモデルがAGIテストで全滅：汎用人工知能の高い壁 / Credit:Canva
ARC Prize Foundationで行われた研究によって、新たなベンチマーク「ARC-AGI-2」の衝撃的な結果が明らかになりました。
これまで、人工知能（AI）はチェスや囲碁など高度な専門領域で人間のトッププレイヤーを凌駕し、「人間のように幅広い課題に柔軟に対処できる汎用人工知能（AGI）」の実現へと近づいていると期待されてきました。
しかし今回のARC-AGI-2では、多くの先端AIモデルが軒並み低スコアにとどまり、“全滅状態”に近い結末を迎えたのです。
このテストは、従来の「難問を解く」タイプとは正反対に、「人間なら比較的簡単に対処できる」日常的・直感的なタスクに注目しており、実際に人間パネル（複数の被験者）の平均スコアが約60％だったのに対し、AIは一桁台の正答率に終始するケースが相次ぎました。
さらにどれだけ多額の計算リソースを投入しても正答率が伸びない“逆転現象”も目立ち、「AIは何でもできるわけではないのか？」と改めて問いを突きつけています。
同時に、大規模計算ばかりに頼らず、新たな推論手法を開発する必要性が研究者コミュニティで一段と高まっているのです。
果たしてAI研究はここからどの方向へ進むのでしょうか？
目次
知識量だけじゃ突破不能：AGIへの壁は高い高性能AIの“日常力”はゼロ？新テストが明かす意外な落とし穴人間なら当然の“省エネ思考”がAIを苦しめる
知識量だけじゃ突破不能：AGIへの壁は高い
知識量だけじゃ突破不能：AGIへの壁は高い / Credit:Canva
チェスや将棋、そして囲碁など、人間にとって難解とされてきたボードゲームでAIが勝利を収めるたび、メディアは「AIが人間を超えた」と大きく取り上げてきました。
さらに画像認識や自然言語処理といった応用分野でも、深層学習（ディープラーニング）の登場によって飛躍的な性能向上が実現しています。
こうしたニュースを目にすると、多くの人が「このままAIが発展すれば、いずれ“なんでもできる汎用人工知能（AGI）”に到達するのではないか」と期待してしまうのも無理はありません。
ところが、AI研究者の間では以前から、「特定分野での強さ」と「どんな状況にも柔軟に対応できる汎用性」は別問題だと考えられてきました。
歴史を振り返ると、アラン・チューリングが提案した“Turing Test”や、その後の“Winograd Schema Challenge”“BIG-Bench”など、AGIの多面的な能力を測ろうとする試みは何度も行われてきました。
しかし多くのベンチマークが、博士号レベルの問題に正解できるかなど“高度な知識や言語能力”に偏ってきたため、まったく性質の異なる日常的な思考や直観を要する課題ではAIが苦戦する、という構造的なアンバランスが続いていました。
このギャップに着目し、2019年に登場したのが「ARC-AGI」と呼ばれる新しいベンチマークです。
人間が「パッと見ただけでルールをつかめる問題」にもかかわらず、AIにとっては“単純な暗記”では突破できないよう設計されているのが大きな特徴でした。
実際、ARC-AGI-1と名付けられた初代ベンチマークで、多くの先端AIモデルが苦戦を強いられ、人間の思考プロセスと機械の違いがはっきりと浮き彫りになったのです。
とはいえ、その後の研究やKaggleの「ARC Prize」コンテストを通じ、一部のモデルはARC-AGI-1で高いスコアを示すようになりました。
オープンAIの高度なAIシステムなども改良を進め、「人間に近い汎用的推論が見えてきたのでは？」という期待が2024年頃には高まりました。
しかし同時に、「それらのモデルが本当に未知の問題に適応しているのか？」という疑問や、「巨大計算による brute force 的なアプローチに頼っているだけでは？」という批判も強まったのです。
そもそもAGIは、人間のように少しのヒントでも新しい状況に応用できる能力が求められ、大量の計算リソースだけでは解決にならない可能性が高い――この認識が背景にありました。
そこで開発されたのが「ARC-AGI-2」です。
今回の新バージョンは効率性を強く意識し、AIの演算コストや推論コストを厳しく見る設計になっています。
さらに、文脈依存のルールや複雑なシンボル操作を含む多彩なパズルを加え、「人間なら短時間で対応できるのに、AIにはなかなか難しい」状況を提示することを重視しているのです。
こうした背景から、研究者たちは「人間が当たり前にこなす省コストな思考を、AIがどこまで再現できるか」を検証するために大規模実験を実施しました。
（広告の後にも続きます）
高性能AIの“日常力”はゼロ？新テストが明かす意外な落とし穴
高性能AIの“日常力”はゼロ？新テストが明かす意外な落とし穴 / Credit:Canva
この実験では、さまざまなAIモデルに対して「ARC-AGI-2」の問題を解かせ、正答率と“タスクあたりのコスト”の両面から評価しています。
タスクには、見慣れたシンボル（記号）の意味づけを文脈によって切り替えたり、「同じパターンを別の視点から再構成しないと正解が出ない」という、少し工夫すれば理解できそうな問題が多く含まれました。
たとえばある問題では、記号が数学の演算記号としての意味を持つ場合もあれば、全く別の操作を示す場合もあり、どの文脈でどう解釈すべきかを瞬時に判断する必要があります。
また、別のテストでは、同じパターンの図形が、見る角度や配置の違いによって異なるルールに従うという問題が出題され、AIにはその背後にある複雑なルールや文脈の変化を正しく読み取ることが求められました。
今回の研究では、以下のAIモデルを用いてARC-AGI-2のテストが実施されました。
・OpenAIの「o3-low」（Chain-of-Thought＋Search/Synthesis方式）
・OpenAIの「o1-pro」（Chain-of-Thought＋Search/Synthesis方式）
・Kaggle 2024優勝者「ARChitects」
・「o3-mini-high」（Single Chain-of-Thought方式）
・「r1」および「r1-zero」（いずれもSingle Chain-of-Thought方式）
・そして、純粋な大規模言語モデルとしての「GPT-4.5」
人間であれば、二度のトライ以内（pass@2）で正解にたどり着くケースが比較的多く見られ、平均してAIよりも高いスコアを記録したと言います。
ただし、人間が必ずしも全問を簡単に解いたわけではありません。
実際には人間パネルの平均スコアは約60％程度と報告されており、タスクによっては迷いが生じるものもありました。
また、AIの推論にかかった演算コストを貨幣換算すると、一問あたり200ドル相当という膨大なリソースが投入されても正解が出せない事例が複数確認されました。
とくにARC-AGI-1で高得点を出していた有名なAIが、ARC-AGI-2では一桁台に落ち込むなど、“得意だったモデルがまったく歯が立たない”という光景も目立ちました。
強力な計算力を注いでもスコアが伸び悩むことから、人間的な直観や省エネの思考プロセスを再現するのは決して簡単ではない、という事実が改めて浮き彫りになったのです。
なぜこの研究が革新的なのか？
ARC-AGI-2の最大の特徴は、「問題を解けるかどうか」に加えて「どの程度のコストで解いたか」という視点を入れたことです。
人間が持つ直観や柔軟性は巨大な計算を必要としませんが、多くのAIはそこが苦手であり、本質的な意味や文脈をつかむという部分を補う仕組みが不足していると言えます。
こうした弱点が明確になったことで、「本当に頭のいいAI」を実現するためには、ただ巨大なモデルを使うだけでは足りず、より深い推論手法や新しいアルゴリズムが求められるのではないかと考えられています。
