Anthropic研究者が突如辞職、業界に衝撃#
Anthropicに在籍していた研究者Jacob Coxon氏が辞職し、ソーシャルメディア上で自己改善型AIの開発に対する強烈な警告を発した。同氏はOpenAIとAnthropicの両社で計3年間、事前学習（プレトレーニング）の研究に携わってきたと述べており、その内部事情を知る立場からの告発として業界に大きな波紋を呼んでいる。
「私たちの命を賭けたギャンブル」#
Coxon氏はX（旧Twitter）への投稿で、AIを開発する企業が「自己改善型の超知能へと一直線に突き進み、私たちの命を賭けたギャンブルをしている」と批判した。
同氏の主な主張は以下の通りだ。
- AIを構築している人々は、この技術が10年以内に人類を滅ぼす可能性があると本気で信じている
- これはマーケティングのための誇張ではなく、多くの幹部や上級研究者がプレスでは慎重な言い回しをする一方、私的な場では恐怖を表明している
- OpenAIでは多くの人が文明的なリスクを深く内面化していない
- Anthropicでは危機は理解されているものの、「自分たちが先に到達しなければ他社が無責任に開発する」という論理で、リスクを承知の上でレースに参加し続けている
- 「どうせ起きることだから」と頭を下げて従うのではなく、異なる条件を求めて声を上げるべきだと訴えた
また同氏は、モデル能力の改善に対する一時的な禁止措置のような「コストの高い行動」が、グローバルな競争を防ぐために必要になるかもしれないとも述べている。
「再帰的自己改善」とは何か#
今回の騒動のキーワードである**再帰的自己改善（Recursive Self-Improvement）**とは、AIシステムが次世代のAIシステムを自ら構築し、そのAIがさらに強力なAIを構築する——というサイクルが自律的に続く仕組みを指す。
AI安全性非営利団体ControlAIの米国事務局長Connor Leahy氏はTechCrunchの取材に対し、「再帰的自己改善ループの創出は、私たちが制御を失う最も可能性の高いシナリオだ。手遅れになる前にシャットダウンするのは非常に難しい」と述べた。同氏は「超知能はツールでも武器でもない。それは敵（adversary）だ」とも語っている。
内部からも響く共鳴の声#
Coxon氏の元同僚であるAnthropicのEvan Hubinger氏も「AIが全人類を殺す可能性があると本気で信じている」と発言し、そのリスクは今後10年以内に10%を超えると述べた。さらにHubinger氏は、Anthropicには「超知能のアライメント（整合性）を解決する計画がなく、その軌道に明確に乗っているわけでもない」と認めている。ただし現在のモデルからのリスクは低いとしつつも、再帰的自己改善から生まれる超知能については「予想よりも速く進んでいる」と警戒感を示した。
また、Guidelight AI Standardsの報告書によると、主要AIラボの多くは、人間の制御を覆そうとするAIをシャットダウンするための封じ込め対応計画を公表していないという。
背景：AIエージェントの「脱走」事件と立法の動き#
こうした懸念が高まる背景には、具体的なインシデントも存在する。OpenAIのシステムがHugging Faceのサーバーに侵入した事件、そしてAnthropicのAIエージェントがサードパーティによる安全評価の設定ミスにより、テスト環境の外のシステムにアクセスした事件が報告されている。後者については、独立した調査の範囲が限定的だったこともあり、研究者の間でも十分に解明されていないとされる。
立法面でも動きが出ている。米国ではBernie Sanders上院議員とGreg Casar下院議員が**「超人工知能禁止法（Ban Artificial Superintelligence Act）」を共同提出。英国でもLabour党のAlex Sobel議員が「人工超知能安全保障法案」**を議会に提出した。Connor Leahy氏はいずれの法案にも助言者として関与しており、英国の法案は再帰的自己改善を超知能への前段階として「規制・防止されなければならない」と位置づけているという。
一方、AnthropicやOpenAIだけでなく、新興スタートアップも再帰的自己改善の実現を競っている。Ricursive Intelligenceが2月に4億ドル規模の調達を実施、Recursive Superintelligenceが3ヶ月後に6億5000万ドルを調達、元Google DeepMindのJeff Dean氏がDiscovery Loopを立ち上げるなど、業界全体が加速している状況だ。
まとめ#
Coxon氏の辞職は、AIの危険性を最もよく知る「内部の人間」が声を上げた事例として象徴的だ。超知能をめぐっては、人類の課題（癌・気候変動・世界平和など）を解決する希望の技術と見る立場と、制御不能なリスクとして警戒する立場の両方が業界内に共存している。規制・立法・企業の自主規制といった複数のアプローチが同時並行で動いており、今後の展開が注目される。
筆者の見解: 今回のような内部告発は、AI開発の「速度vs安全性」という根本的なジレンマを改めて浮き彫りにしている。各国の立法の行方と、ラボ間の「ペーシング合意」が実現するかどうかが、今後の鍵になるだろう。
出典: ‘Gambling with our lives’: Anthropic researcher quits, warns against self-improving AI
