AIが生成した「完全に虚偽の」情報が戦争寸前の事態を招いた#
CNNの報道によれば、米軍はAIツールを用いて作成された「完全に虚偽」の情報報告に基づき、中国船舶への乗り込み・拿捕を準備していたことが明らかになった。事態に詳しい4人の情報筋がCNNに語ったところによると、ある情報筋はこのAI起因の失態が「危うく戦争を引き起こすところだった」と述べている。
何が起きたのか：事件の経緯#
CNNの報道によると、米特殊作戦コマンド（US Special Operations Command）のアナリストが、中東を航行していた中国船舶の積荷マニフェスト（積載物目録）をチャットボットに分析させた。そのチャットボットは、一般公開されているオープンソース情報と、政府が保有する機密の信号諜報（シギント）を組み合わせて処理するものだった。
その結果、アナリストが提出した報告書には「当該船舶が核兵器プログラムに関連するコンポーネントを輸送している」という内容が記載されていた。この報告を受けた米軍は、航空支援を伴う形で船舶への乗り込みを準備し始めた。しかし、担当官がチャットボットが「船の積荷を不正確に識別していた」ことを発見し、軍事行動は間一髪で回避された。
これはAIの「ハルシネーション（幻覚）」と呼ばれる現象によって引き起こされた事例だ。ハルシネーションとは、AIモデルの学習データが十分なコンテキストを持たない場合に、AIが事実ではない情報を作り上げてしまう現象を指す。この言葉は2023年にケンブリッジ辞典の「今年の言葉」に選ばれるほど広く認知されるようになった。
なぜこれほど重大な問題なのか#
ハルシネーションは防ぎきれない可能性がある#
AIハルシネーションの問題は、今回が初めてではない。ノンフィクション作家、ジャーナリスト、学術研究者、裁判官、医師、警察機関、企業のコールセンターなど、さまざまな分野でAIが事実を捏造した事例がすでに報告されている。一部の研究者は、LLM（大規模言語モデル）のハルシネーションを完全に防ぐことは不可能かもしれないとも指摘している。
米国防総省のAI積極活用方針との矛盾#
今回の事件が特に深刻なのは、米国防総省（DoD）がAIを積極的に軍事活用しようとしている最中に起きたという点だ。ソース記事が伝える主な事実を整理すると：
- 1月：国防総省は「AI加速戦略」を展開。すべての適切なデータをAI活用のために連携させる方針を打ち出した。その際、国防長官のピート・ヘグセス氏は「AIはそれが受け取るデータと同じくらい良いものだ」と述べた。
- 昨年12月：国防総省はGoogle製「Gemini for Government」を独自プラットフォーム「GenAI.mil」の基盤として採用すると発表。
- 先月：同プラットフォームに「Grok for Government」がオプションとして追加された。
- Anthropic社も米国の諜報活動向けにカスタマイズされたClaudeを提供している。
- 6月：ペンタゴンの担当者が議会に対し、生成AIを議会への法定報告書作成に活用していること、また国防総省の現役人員150万人が軍の生成AIツールを使用していることを明らかにした。
「責任あるAI利用」の原則はどこへ#
2023年に米国務省が発表した「軍事におけるAIと自律性の責任ある利用に関する宣言」では、「リスクと利益の慎重な考慮」や「意図しない偏りや事故の最小化」、そして「常にループに人間を介在させること」の重要性が強調されていた。しかし、今回の事件はその原則が実際の現場で徹底されていなかったことを示している。
さらに、完全自律型の攻撃ドローンがロシアとウクライナの紛争で使用されたり、NATOが支援する軍事請負企業によってテストされたりするなど、自律型兵器の実用化も進んでいる。
まとめ#
今回報告された事件は、AIハルシネーションがもたらしうる最悪のシナリオの一端を示すものだ。機密情報とオープンソース情報を組み合わせて処理するチャットボットが出力した誤情報が、そのまま軍事行動の根拠となりかけたという事実は重い。
AI研究者らによる「存亡リスク」に関する警告が高まる中、AIの安全性に関する議論や規制・研究ペーシングを求める声も、主要なAIフロンティア企業から上がっていることもソースは伝えている。
筆者の見解: 150万人規模の軍人がすでに生成AIを業務で活用している現状において、今回のような事件が「一度だけ」で済んだと考えるのは楽観的すぎると感じる。AIの軍事活用の拡大と、ハルシネーション対策の未成熟さの間にある深刻なギャップを、今回の事件は改めて浮き彫りにしたと言えるだろう。
出典: AI hallucination of Chinese nuclear components almost led to US military attack
