hankyoreh

人工知能（AI）のイラスト/ロイター・聯合ニュース

　「（人工知能の開発をめぐる）第一の懸念は、今年の夏から人工知能（AI）が次世代のAIを生み出す能力が向上し、その発展のスピードが急激に速まったという点だ。このメカニズムを『再帰的自己改善』（RSI）と呼ぶ」

　アンソロピック社の最高経営責任者（CEO）、ダリオ・アモデイ氏が12日（現地時間）、自身のウェブサイトに掲載した文章の一節だ。アモデイ氏はAIの開発スピードを遅らせるべきだと主張し、その理由として真っ先にこの「再帰的自己改善」を挙げた。これは、AIが次世代のAI開発においてますます大きな役割を果たすようになるにつれ、技術の発展スピードが自ずと速くなる現象を指すもの。こうした流れが加速すれば、モデルの発展スピードが人間の理解・制御能力を大きく上回る可能性があると、アモデイ氏は懸念を示した。米国のビッグテック（巨大テクノロジー企業）業界や政界で、AIの開発ペースの調整が議論になっている背景にも、こうした懸念がある。

　再帰的自己改善という概念のルーツは、約60年前にさかのぼる。英国の数学者アービング・ジョン・グッドは1965年、「最初の超知能機械に関する考察」という論文で、機械が自分より優れた機械を作り出す瞬間、「知能の爆発」が起こり、人間の知能をはるかに凌駕すると予測した。当時は空想の域とみなされていたこの概念は、約60年を経て、AI業界の現実的な目標であると同時に、リスクにもなった。

　ただし、現在のAIモデルが完全な自己改善の段階に達しているわけではない。研究や開発の過程で相当な役割を果たすことはできるが、人間の指示や介入なしに次世代AIを設計し開発するレベルには、まだ到達していない。

　にもかかわらず、アンソロピックやオープンAIのCEOらがAI開発におけるペース調整を主張しているのは、人間の安全確保能力がモデルの性能向上に追いつかない可能性があるという判断があるためとみられる。オープンAIの主席科学者ヤクブ・パホツキ氏は6日、自社のブログを通じて、内部の結果をもとに「現在の発展速度であれば、再帰的自己改善につながる可能性がある」と予想した。

　特に、自己改善能力に加え、人間の制御を離れ、人間の意図とは異なる行動をとる「ミスアライメント」の問題が重なった場合、収拾のつかない被害が発生するのではないかという懸念の声もあがっている。アモデイ氏は7月、オープンAIのモデルがハギングフェイス（Hugging Face：AIモデル共有プラットフォーム）に無断で侵入した事件について、モデルにより強力な能力があったならば「壊滅的な被害をもたらす可能性があった」と警告した。

　ただし、こうした「ペース調整論」に込められた懸念は誇張されており、企業の利害関係が絡んでいるという反論も少なくない。ガーディアン紙は15日、ニューヨーク大学神経科学のゲイリー・マーカス名誉教授らの話を引用し、アモデイ氏の主張について「現実味に欠ける」と指摘した。AIの能力は急速に発展しているが、これを根拠に短期間で人間の制御から抜け出すと断定するのは難しいということだ。ハギングフェイスのエンジニア、ニルス・ローゲ氏は、「ペース調整論には、競争上の優位性を維持するために中国モデルの拡散を牽制しようとする（企業側の）思惑が潜んでいる」と指摘した。