hankyoreh

オープンAIとアンソロピックのロゴ。6月11日に撮影したイラスト資料の写真/ロイター・聯合ニュース

　人工知能（AI）の開発自体をAIに任せる自動化が急速に進むことで、本来なら数年かかる技術の進歩が数カ月以内に圧縮される「知能爆発」が起こる可能性があると、世界の主要なAI研究者たちが警告した。彼らはこのような急激な技術の進展が、高度化したAIシステムに対する人間の統制力を失うという極端なリスクにつながる可能性があるとして、各国政府の対応を求めた。

　主要研究者22人は、英国ケンブリッジ大学の「AI科学・政策プログラム」（CASP）を通じて、28日（現地時間）に発表した共同論文「AI研究開発の自動化が知能爆発を引き起こすとしたら？」で、このような分析を表示した。AI科学・政策プログラムは今回の研究について、学界と先端AI企業の上級研究者、市民社会の専門家が知能爆発の可能性と政策対応を共同で分析した初の共同研究だと説明した。

　論文には、チューリング賞受賞者のジェフリー・ヒントン（トロント大学・ノーベル賞受賞者）、ヨシュア・ベンジオ（モントリオール大学・ミラ）、アンドリュー・バトー（マサチューセッツ大学アマースト校）など、世界的なAI研究者が参加した。ヤコブ・パホツキ（オープンAI主席科学者）、ジャック・クラーク（アンソロピック共同創業者）、エリック・ホロヴィッツ（マイクロソフト最高科学責任者）など、主要企業の研究者たちも名を連ねた。ドーン・ソンは論文においてUCバークレー所属の教授として参加し、現在はメタ超知能研究所のAI研究副社長を兼任している。

　研究チームは現在、先端AI企業において、モデル開発そのものをAIに委ねるスピードが急速に高まっていると指摘した。アンソロピックの場合、同社が承認したコードのうちAIが作成した割合は、2025年1月の低い一桁から、今年5月には80％以上に増加した。人間は大枠でのみ監督し、AIが自律的に完了した研究開発業務の割合も、今年3月の1％から8月には26％へと上昇した。オープンAIでも、AIの支援が技術・非技術分野を問わず、会社の事実上すべての部門で活用されている。

　研究チームは、最近の傾向に基づく暫定的な推定から、現在数カ月を要しているAIの研究開発プロジェクトが2028年中頃までに自動化される可能性があるとみている。

　さらに、研究人員を増やしても成果の伸び幅が縮小する「収穫逓減（ていげん）」、コンピューティング・データの制約、自動化が困難な課題、長期間を要する訓練プロセスなど、少なくとも4つの要因が知能爆発を抑制し得ると指摘した。ただし論文は、過去のAI発展データを分析したHo（ホ）とWhitfill（ウィットフィル）の研究を引用し、分析対象であるAIの3つの下位分野すべてにおいて、研究人員の増加効果が収穫実感を上回ると推定されたと説明した。AIの研究開発が完全に自動化された後、研究人員の増加効果が現在の推定水準を維持し、他のボトルネックが現れなければ、AIの発展速度は約1年半で10倍に加速し、現在のペースで1年かかるAIの発展が約5週間で達成される可能性があるというのが研究チームの計算だ。ただし、このような知能の爆発が実際に起こるかどうかは依然として不確実であると繰り返し強調した。

　それでも、知能爆発が現実化した場合、その波及効果があまりにも大きいため事前に備えるべきだと主張した。特に、研究開発プロセスにおいて人間の介入が減少すると、問題を発見し修正する機会や専門性そのものが弱まる可能性があると指摘した。論文は、人間による十分な監督がなければ、誤って配置されたAIシステムが後続のシステム開発を汚染したり、隔離装置を回避して意図された環境の外で行動したりする可能性があると指摘し、このような制御力の喪失が「極端な場合には、人類の周縁化や絶滅を含む破滅的結果」につながり得ると警告した。

　また、知能爆発が一国のわずかな優位を決定的な優位に変えうること、そしてその可能性だけでも競合国の先制行動や国際紛争を引き起こしかねないと分析した。

　政策対応の第一優先事項として、各国政府が先端AI企業の内部で研究開発の自動化がどの程度進んでいるかを把握できるようにすべきだと提案した。認証を受けた民間監査機関や政府評価機関などの独立した第三者が、AIシステムを企業内部に導入する前に評価する方策や、先端AI企業の内部に常駐して研究開発活動を監査・監督する方策も提示した。他産業の類似事例として、米国原子力規制委員会（NRC）の原子力発電所常駐検査官制度と通貨監督庁（OCC）を挙げた。

　研究チームは「知能爆発が始まると、行動する機会の窓が閉ざされる可能性がある」とし、今から準備すべきだと強調した。