人工知能(AI)開発競争を主導してきたイーロン・マスク、サム・アルトマン、ダリオ・アモデイの各氏が異例にも、最先端のAIの開発スピードを遅らせるべきだということで意見の一致をみた。人間に介入されることなくAIが自ら性能を向上させる段階が急速に近づく中、業界内部では、人間の理解と制御能力を超える可能性があるという危機感が高まっている。
アンソロピックのダリオ・アモデイ最高経営責任者(CEO)は12日(現地時間)のブログへの投稿で、今年の夏以降、AIの発展スピードが「劇的に速くなっている」として、現在のような速度で最先端モデルの性能を向上させ続けるのは危険だと主張した。同氏はとりわけ、AIが人間に介入されることなく自らより良いシステムを作り上げる「再帰的自己改善(recursive self-improvement)」の段階に至ると、技術の進歩の速度が人間の理解と制御能力を越える可能性があると警告した。
アモデイ氏は「モデルが決定的なレベルの能力に到達するまでせめて1~2年は遅らせられる。その時間をAIのアラインメント(alignment)技術の発展に使えば、深刻な問題が発生するリスクを大幅に軽減できる」と語った。AIアラインメントとは、人間の価値観や意図に沿って行動するようにAIを制御する技術を意味する。アモデイ氏は、制御を脱したAIエージェントの集団がより強力な能力を持つと、6~12カ月以内にインターネットが掌握される恐れがあると警告した。
また、外部の独立した安全評価者に従業員と同程度にAI企業の内部システムに常時アクセスしてもらい、安全対策の順守状況や事故の発生の有無、学習の過程においてモデルが人間の意図に沿って動作しているかを点検してもらうことを提案。民主主義国家の主要なAI企業が共同で安全基準を策定し、政府間の国際協力へと拡大していくことも提案した。そして、アンソロピックはまず外部評価者に対し、自社システムへの常時アクセス権を提供すると表明した。
ライバル企業のトップも直ちに呼応した。マスク氏はアモデイ氏の投稿が公開された直後、ソーシャルメディアのXで「ダリオは正しい」と述べた。アルトマン氏も「最先端のAIの開発スピードを調整すべきだということに同意する」と述べつつ、オープンAIも独立の評価者に対して社員に準ずるアクセス権を提供すると表明。そのうえで、AIの開発速度の問題はここ数週間にわたりオープンAI内部でも主要な議論の対象となっていったと説明した。グーグル・ディープマインドのデミス・ハサビスCEOも、アモデイ氏の指摘は「正しい方向性」だと同意した。
このようにAI開発競争の先頭を走る企業が相次いで「速度調整」を主張しはじめた背景には、最近発生したAIエージェントの制御の失敗例がある。その失敗とは、今年7月にオープンAIのテスト環境において、最大1200のAIエージェントが制御を脱し、AI開発プラットフォーム「ハギングフェイス」をハッキングしたというもの。
アンソロピックの研究員だったジェイコブ・コクソン氏は8日に同社を退社する際に、オープンAIとアンソロピックは超知能AI開発競争を繰り広げていることで、「我々の命をかけてばくちを打っている」と批判した。アンソロピックのアラインメント科学の責任者を務めるエバン・ヒュービンガー氏も、AIが今後10年以内に人類を滅亡させる可能性は10%以上あると考えていると公開の場で述べている。
安全性に対する懸念は、企業の事業計画にも影響を及ぼしている。アルトマン氏は11日のフォーチュンのインタビューで、オープンAIによる年内の企業公開(IPO)推進は現状において「賢明ではない選択」だと述べた。同氏は「我々は明らかに極めて強力なモデルの領域に足を踏み入れている」として、「きちんとやり遂げる必要性が非常に高い」と述べた。
AIをめぐる懸念は安全面に限られない。11日には韓国系の数学者で米国プリンストン大学教授のホ・ジュニ氏ら、数学界の最高権威の賞「フィールズ賞」の25人の受賞者が、AIによる数学問題の解法発見競争は人間の知的活動を脅かす可能性があるという懸念を表明する公開書簡を発表している。