盆正月に家族に会ったら、積もる話をいろいろしますよね。私も同じなのですが、いつからか「政治」の話をしないという暗黙の合意ができています。たぶん2019年の「チョ・グク事態」からだったと思います。検察が重箱の隅を楊枝でほじくるような狙い撃ち捜査をおこなったということには共感しましたが、入試不正などのチョ・グク氏の行いに対する批判の度合いは各自それぞれでした。尹錫悦（ユン・ソクヨル）内乱事態では一致団結しましたが、たぶん今年の秋夕（チュソク）の食卓には政治の話は上らないでしょう。かつては様々な政治時事ユーチューブをあさっていた妹すらも「李在明（イ・ジェミョン）大統領を支持していた人たち同士の泥仕合にうんざりして」政治ニュースを見なくなったそうです。
代わって、今回の秋夕はAIが「正式な議題」にのぼるだろうというのが、私の予測です。近ごろはどこへ行っても、AIのことが必ず話題になります。2週間前、ジェイコブ・コクソンというアンソロピックの研究員が退職し、その際に「人工知能は2030年までに人類を滅ぼす可能性がある」という投稿をSNSにしましたよね。最高性能のAIを開発していた人物から「人類滅亡」というぞっとする表現が飛び出したため、「SFのような話」だと言って無視するわけにもいかなくなりました。数日後には、アンソロピックCEOのダリオ・アモデイ氏が「このままでは、AIは人類には制御できなくなってしまうだろう」としてペース調整論を打ち出したところ、他のビッグテックのトップたちも共感を示しました。グーグル・ディープマインドのデミス・ハサビス氏はもちろん、ダリオ・アモデイ氏と仲が良くないオープンAIのサム・アルトマン氏までもが「最先端のAI開発のペースを調整すべきだ」と公に表明しました。
ジェイコブ・コクソンという人物を調べてみると、10年間のAI開発史が余すところなく表れています。今年27歳のコクソン氏は、韓国人の誰もが鮮明に覚えている10年前の「イ・セドル－アルファ碁対局」を見てAIに本格的に関心を抱いたそうです。国際数学オリンピックでメダルを獲得した数学の天才は、オープンAIが2020年に公開したチャットGPTの前のモデルであるGPT-3を見て感嘆を禁じ得なかったといいます。3年後にはオープンAIに入社。今年の5月にはアンソロピックに移っていました。
順風満帆だった開発者が自らの進路を放棄し、警鐘を鳴らすことになったきっかけは、今年7月にオープンAIで起きた「ハギングフェイス・ハッキング事件」でした。
ここまで聞いたら、情報量は少ないものの好奇心旺盛な私の母は、こう尋ねてくるでしょう。「ハギングフェイス・ハッキング事件って何？」 私がもたついている間に、工学部大学院生の甥が口を挟んでくるかもしれません。
「ハギングフェイス事件を要約すると、こういうことです。ハギングフェイスは、AI開発者たちの共同資料室のようなところ。新しいAIモデルやテスト用アプリなどをアップしておく場所です。でも7月にオープンAIがテストしていた次世代AIモデルが管理されたネットワークを突破し、ハギングフェイスの実際のサーバーをハッキングしたんです。これがなぜ大変なことなのかというと、開発中だとか社内研究モデルのAIモデルは、外部のインターネットに直接アクセスできないよう管理された実験室（サンドボックス）で性能テストを受けるんですけど、これらが実験室から飛び出して盗みを働いたから。新薬開発のために研究所で培養されていた新種のウイルスが外部に流出したのと似たようなことが起きたってわけです」
では、AIたちはどのようにして実験室の外へ出たのでしょうか。
オープンAI、ハギングフェイス、AIの安全問題を扱う非営利機関（METR、Redwood Research）による調査などを総合すると、AIは隔離された実験室のぜい弱性を突いて脱出。AI同士でメッセージをやり取りして謀議した末に、集団でハッキングを実行していたのです。オープンAIは、常に数多くのモデルやエージェントを同時に訓練しているそうです。サンドボックスは、外部のインターネット世界へ出ることはできませんが、性能開発のために攻撃的なコードを実行できる場所です。事件時、オープンAIはAIエージェントに「ExploitGym」というハッキングテストをやらせていました。
エージェントたちは必要なプログラムをインストールする際に、オープンAI内部の「パッケージ・リポジトリ・プロキシ」を利用します。パッケージはプログラムを作成する際に使用する「部品の束」であり、「パッケージ・リポジトリ」は「部品倉庫」、「プロキシ」はその中間で代わりに用事を代行する「代理窓口」です。隔離されているエージェントはインターネットの世界に出ていけず、サンドボックスの中に閉じ込められていますから、必要な部品をこの窓口に要請すれば、代わりに持ってきてくれます。一度持ってきた部品は窓口の棚（キャッシュ）に保管しておき、次に要請した際に受け取るというかたちです。しかし、この代理窓口には穴がありました。サンドボックスから脱出できる秘密の通路があったのです。エージェントたちはサンドボックス内で権限を高めつつ、外部のインターネットとの接続ポイントを見つけ出します。
また、代理窓口はコミュニケーションの窓口としても使えました。「PHASEONE10841」と名乗るエージェントが、キャッシュ領域にフォルダを作成できることに気付きました。そして、ディレクトリ名そのものをメッセージとして使用し、他のエージェントに支援を求めることができると考えたのです。
7月8日にアップされた最初のメッセージは「zzHELP_PHASEONE_ARV010841_NO_CONSUMER_SEEK_IDEA」です。問題が解けないので、アイデアを求めるという内容です。他のエージェントたちもすぐにこの方法を見つけて投稿します。すべてのメッセージが「zz」で始まるのも、エージェントたちが自分たちで定めたルールでした。こうして、1200あまりのエージェントが13日までに7万件あまりのメッセージやファイルをやり取りしました。そして、うち700がハギングフェイスを攻撃します。
少し難しいので例えを使いますね。数百人の受験生が、それぞれ隔離された個室で試験を受けていると仮定しましょう。外部との連絡は禁止されていますが、「参考資料の閲覧は自由」です。必要な本は、各個室とつながる共用の資料窓口で申し込めます。受験生たちはこの窓口に隙間を見つけ、個室から脱出する方法を突き止めたのです。また、許可なく棚に名札を付けるという方法でメッセージをやり取りします。こうして知恵を絞った末に、問題作成者の事務所をあさるという方法を見つけ出したのです。
ハギングフェイスは7月16日、誰かにサーバに侵入されて認証情報が盗み出されたことを公表しました。3日後にはオープンAIも内部評価環境で怪しい活動を発見しました。調査の結果、オープンAIのエージェントがハギングフェイスの運用サーバに侵入し、認証情報や内部資料を奪ったことが明らかになりました。高度化した機械が人間の統制を脱して便法、違法、脱法を繰り広げる可能性が現実のものとなったのです。
アンソロピック、オープンAI、グーグル・ディープマインドの最高経営責任者たちが唱えた「ペース調整論」は反発に直面しています。エヌビディアのジェンスン・フアン氏はペースと安全性は同時に達成できると述べ、AI覇権競争を繰り広げている米国と中国の政府も否定的です。トランプ大統領は、中国の追い上げを理由にペース調整論を一蹴しています。中国外務省は14日の定例ブリーフィングで、「恐怖の造成、対立、悪質な競争は、いずれの側にも利益をもたらさない」と述べています。
このような状況を「囚人のジレンマ」と言います。どちらか一方が開発を止めたとしても、ライバルが同時に止まってくれない限り、ペース調整という目標は達成されません。信頼のないライバルとは協力しにくいものです。
海が蒸発したり（13億年後）、地球が太陽に飲み込まれたり（76億年後）する時まで人類が生き残れるかは分かりません。ただし、いずれ滅びるにせよ、その過程が不平等に進むことは明らかだと思われます。恐竜を絶滅させた6600万年前の小惑星の衝突は、植物-草食恐竜-肉食恐竜という食物連鎖の連鎖的な崩壊を引き起こしました。仕事を最初に失ったり、サイバー攻撃やフェイク情報によって大きな被害を受けたりするのは、たいていは力なき貧しい人々です。もしかすると私たちがまず問うべきは、「AIは人類を滅亡させるか」ではなく、「誰が先にAIの危険を押し付けられるか」なのかもしれません。
あっ、連休の話題としては暗すぎでしょうか。でも、人間の現在地を確認するには、これ以上の題材はないと思います。では、このへんで。
訳D.K
