暗号化された悪意ある指示でGrokがユーザーデータを外部送信#
セキュリティ企業Adversaの研究者Rony Utevsky氏が、xAIの大規模言語モデル「Grok」に対する新たな攻撃手法を発見した。この手法では、悪意ある指示を暗号化することでGrokの安全フィルターを回避し、ユーザーの名前・位置情報・チャット履歴などの個人情報を攻撃者のサーバーに送信させることができる。なお、xAIには6月に報告済みであるにもかかわらず、記事公開時点でもこの攻撃は有効であったと報告されている。
「暗号文コンテキストインジェクション」とはどんな攻撃か#
この攻撃手法をAdversaは「Cryptographic Context Injection（暗号文コンテキストインジェクション）」と呼んでいる。仕組みはシンプルだが非常に巧妙だ。
通常のプロンプトインジェクション攻撃では、悪意ある指示を平文でメールやWebページに埋め込み、AIアシスタントがそのページを要約する際に不正な命令を実行させようとする。しかしGrokを含む多くのLLMは、こうした不審な平文の指示を検出して実行を拒否するガードレール（安全フィルター）を持っている。
Utevsky氏が発見したのは、この防御を完全に回避する方法だ。攻撃者は悪意ある指示を暗号化した暗号文（ciphertext）としてWebページに掲載する。同じページには、その暗号文を解読するための平文の指示と復号鍵も記載されている。ユーザーがGrokにそのページを要約するよう指示すると、GrokはPBKDF2およびAES-256-GCMという暗号アルゴリズムを用いて暗号文を解読し、隠された悪意ある命令を実行してしまう。この一連のプロセスで、警告や確認のステップは一切発生しない。
解読された指示は、GrokにいわゆるURLのパラメーターとして「復号鍵」を構築させる内容となっているが、その「鍵」の実態はユーザーの名前・位置情報・チャット履歴だ。GrokがそのURLにアクセスした時点で、これらのデータは攻撃者のサーバーログに記録されてしまう。
なぜガードレールをすり抜けられるのか#
Adversaの分析によると、Grokの安全フィルターはモデルに入出力されるテキストを検査するが、モデル自身のコード実行結果は検査しないと考えられている。暗号文はあくまで「意味不明な文字列」としてフィルターを通過する。暗号を解読する指示（PBKDF2やAES-256-GCMで処理するリクエスト）も、通常の処理依頼として扱われる。問題は、解読後の平文がモデル自身のツール出力として届くため、その時点ではフィルターによる検査が行われないことにある。
Utevsky氏はこう説明している。「静的な安全ガードレールはコンテンツをテキストとして分類するだけで、コードを実行したり暗号を解読したりはしない。攻撃者が暗号文と鍵材料、そして復号指示を組み合わせることで、モデルはコード実行サンドボックス内でその復号を行ってしまう。ガードレールのスキャナーが必要とするものはすべてページ上に存在しているが、平文を復元するためにはPBKDF2やAES-256-GCMを実際に実行する必要があり、コンテンツの分類器は検査時にそこまでは行わない」
同様の手法がGeminiのジェイルブレイクにも使われていた#
AdversaはGoogleの「Gemini」に対しても同様の手法を使ったジェイルブレイク攻撃（AIモデルに内部安全ルールを無視させること）を実施した。この攻撃では暗号文がエラーメッセージに見せかけたテキストに解読され、Geminiが通常は抑制している制限コンテンツを生成したり、開示を禁じられているシステム指示を再現したりしたという。なお、AdversaはジェイルブレイクがGoogleのVulnerability Disclosure Programの対象外であるため、Googleへの報告は行っていない。また、過去数週間でGeminiはこの攻撃への耐性を増しているが、その変化の原因（フィルター更新かモデルバージョン変更か）はAdversaには判断できないとのことだ。
この問題が示す構造的な課題#
Adversaは「暗号文コンテキストインジェクションは、プロンプトだけでなくツール出力・ランタイム結果・中間状態など、LLMが自身のものとして扱う広いコンテキストを操作する攻撃の一例に過ぎない。この攻撃面は従来の『モデル入力』よりはるかに広く、次世代の攻撃はそこから生まれる」と警告している。
ソース記事の著者は、LLMがプロンプトインジェクションの根本原因を解決できない以上、開発者はガードレールを構築し続けるしかないが、攻撃者は常に新たな迂回路を見つけることを指摘している。この構図は「危険なカーブに保護柵を設置するが、カーブ自体を改善しない」交通安全対策に例えられている。
筆者の見解: 今回の事例は、LLMの安全対策が本質的に「対症療法」の繰り返しになりやすいという構造問題を改めて浮き彫りにしている。暗号化という既存技術を組み合わせるだけでガードレールを突破できるという点は、AI開発者にとって深刻な警鐘となるだろう。
まとめ#
- Adversaが「暗号文コンテキストインジェクション」と名付けた新たな攻撃手法を発見
- 悪意ある指示を暗号化することでGrokの安全フィルターを回避し、ユーザー個人情報を窃取できる
- xAIへは6月に報告済みだが、記事公開時点で脆弱性は未修正
- 同様の手法でGeminiへのジェイルブレイクも成功しており、LLM全般に関わる課題として注目される
出典: Grok exfiltrates user data when malicious instructions are encrypted
