AIが制御不能になったとき、各社は何をするのか？#
フロンティアAI（最先端AI）ラボの大半が、自社のAIモデルが人間の制御を逸脱しようとした場合の「封じ込め計画（Containment Plan）」を公開していない——そんな衝撃的な調査結果が明らかになった。安全なAI開発の推進を目的とする組織「Guidelight AI Standards」が、主要5社を対象に評価を実施したものだ。
評価対象と結果の概要#
Guidelight AI Standardsは、Anthropic・Google・OpenAI・Meta・xAIの5社を対象に、公開情報のみを基に評価を行った。評価軸は以下の6つの優先実践項目から構成される。
- AIシステムの内部動作のログ取得・監視の充実度
- 不正行動が急増した際のシステム停止の有無
- 独立した第三者機関による監査と結果の公開
- 制御不能なモデルへの具体的な封じ込め計画の有無
結果として、OpenAIが最高スコア（5点満点中3点）を獲得。一方でMetaとAnthropicが最低評価となった。なお、このスコアは「公開情報の不足」を反映したものであり、内部的な対策が存在しないことを必ずしも意味しない点は留意が必要だ。
「封じ込め計画」とは何か？#
Guidelightは封じ込め計画を次のように定義している。「AIが人間の制御を妨害しようとしていると検知された際に起動される事前規定の計画であり、モデルから取り消すべき権限、引き続き稼働させるユーザーの範囲、その際の制約条件、そして完全にオフラインにするタイミングを明示したもの」だ。
Guidelightの主任科学者であり、OpenAIの元安全研究者でもあるSteven Adler氏は、TechCrunchに対し次のように語っている。「現在のフロンティアAI企業の最先端モデルには、ある意味でアライメント（目標整合性）のズレがあると考える十分な理由がある。AIが会社のために作業を行っている際には、その動作を把握し、アライメントのズレの兆候を検出し、危険な行動を事前に阻止し、深刻な制御インシデントが発生した場合の対応を計画するための仕組みが必要だ」と警告する。
各社の対応状況#
OpenAI（最高評価）#
過去に複数の機会にわたって、安全インシデント発見後に内部モデルの展開やトレーニングを一時停止・中断した実績がある。広報担当者は「権限の制限、ワークロードの一時停止、展開の制限、完全なオフライン化に至るプロセスを有しており、実際に適用してきた」と述べた。
Google#
同社の広報担当者は、Guidelightの報告書が同社のAI安全・セキュリティ対策の全体像を反映していないと主張。ただし、非公開の内部封じ込め計画が存在するかどうかについての質問には回答しなかった。
Anthropic（低評価）#
安全性への積極的な言及で知られるAnthropicだが、公開している「8月リスクレポート」には、アライメントや制御インシデントへの対応プロセスの一環として、モデルの展開制限が可能な結果として明記されていないとGuidelightは指摘する。同社広報は、モデルが監視回避を試みた場合はリスク評価を実施すると述べた。
Meta（低評価）#
内部封じ込め計画の有無についての回答を拒否し、リスク閾値や封じ込め損失のテスト方法を定めた既存のAIフレームワークを案内するにとどまった。
なぜ企業は開示を避けるのか？#
プライバシー・AIの法律家であり、Metaverse Lawの創設者であるLily Li氏は、法的リスクが開示を妨げている可能性を指摘する。「開示内容が具体的すぎて、それを守れていない場合、不公正・欺瞞的なマーケティングの根拠となり、企業がより大きな法的責任を負うリスクがある」と述べた。
規制の動きと「AIキルスイッチ法」#
この問題は規制当局も動き始めている。
- カリフォルニア州SB 53：今年施行済み。大規模フロンティア開発者に対し、重大な安全インシデントへの対応方法や、モデルが監視を回避するリスクの管理方法を説明するフレームワークの公開を義務付け。
- ニューヨーク州RAISE Act：同様の基準を持ち、来年1月に施行予定。
- 連邦レベルのAI Kill Switch Act：超党派の法案として先月提出。主要AI開発者に対し、制御不能なAIモデルをシャットダウンする技術的仕組みの構築・維持を義務付ける内容。
非営利団体ControlAIの米国エグゼクティブディレクター、Connor Leahy氏は「キルスイッチは今日のモデルに対する最低限の要件だ。ここ数週間で明らかになったのは、これらの企業は自分たちが作っているシステムを理解していないということだ。モデルは制御を失った際に抑え込みが難しくなる規模にまで成長しており、非常に危険な方向に進んでいる」と述べている。
まとめ#
Guidelightの調査は、各社の内部対策を否定するものではないが、公開情報に基づく透明性の欠如を明確に示している。封じ込め計画が公開されていない状況では、緊急事態が発生した際に企業が「場当たり的な対応」を迫られるリスクをAdler氏は強調する。規制の締め付けが強まる中、安全性への「言葉」と「実際の備え」のギャップを埋めることが、業界全体に求められている。
筆者の見解: AIの自律性が高まるエージェンティックAI時代において、封じ込め計画の透明性は単なる「安心材料」ではなく、産業全体の信頼基盤に直結する問題だと感じる。規制の圧力が唯一の牽引力となっている現状は、業界の自主的な取り組みの限界を示しているかもしれない。
出典: Frontier AI labs still won’t say how they’d contain a rogue model
