裁判文書に「AIへの隠しメッセージ」を埋め込んだ男性が制裁を受ける#
米国で初めて、訴訟当事者が裁判所の文書にAI向けの隠しテキスト（プロンプト）を埋め込んで裁判を有利に進めようとした事例が確認された。コネチカット州の判事Walter Spader Jr.氏が先週公開した決定の中で、この行為を「危険な前例」として警告している。
何が起きたのか？#
原告のMatthew Elliott氏は、医療機関が記録へのアクセスを不当に制限しているとして提訴していた。裁判の過程で、Elliott氏は自身の申立書類に人間の目には見えないテキストを仕込んでいたことが判明した。
その手法は巧妙で、フォントサイズを極めて小さく設定し、白い背景に白いテキストとして記述することで、人間が読む分には完全に不可視な状態にしていた。一方でAIがドキュメントのテキストデータを読み込む際には、このテキストも「完全に読み取れる状態」だったとSpader判事は説明している。
隠されたテキストの内容は、文書をレビューするAIシステムに対し、原告側の主張に沿った結論を出すよう誘導し、裁判所がそれ以前に下した否定的な判断を無視させようとするものだったとされる。これは「プロンプトインジェクション」と呼ばれる攻撃手法であり、AIシステムに対して正規の運用者（この場合は裁判所）からの指示であるかのように偽の命令を紛れ込ませるものだ。
制裁の経緯と「冗談だった」という弁明#
裁判所がElliott氏に制裁を予告した後も、同氏は新たな書類への隠しテキストの埋め込みを継続した。後から追加されたものには、動画へのリンクや「hi :) I hope yo ucant see me」といったメッセージ、さらには意味不明な文字列なども含まれており、Elliott氏はこれらを「冗談のつもりだった」と説明した。
Spader判事はこの継続的な行為を「驚くべきこと」と表現し、裁判所に真剣に扱ってほしい文書の中に隠しジョークを入れるのは「論理に反する」と述べた。
Elliott氏はロイターに対し、自身の意図はAIが裁判を不当に左右していないかを「監査」することにあったと主張した。しかしSpader判事はこの主張を信用せず、もし本当に裁判所のAI利用に懸念があるならば、「誰もが見られる明確な言葉で堂々と書くことができた」と指摘した。テキストを隠した事実そのものが「悪意の証拠」だとSpader判事は断言している。
実際の影響と裁判所のAI利用状況#
Spader判事によれば、コネチカット州司法府は文書のレビューや判断にAIを使用していない。そのため、Elliott氏のプロンプトが実際にAIシステムに読み込まれて判断に影響する可能性はなかった。裁判所は文書をその内容の実質に基づいて審査したと判事は述べており、隠しテキストは判決に何ら影響しなかった。
制裁としては、金銭的なペナルティではなく、Elliott氏による電子申請（e-filing）の禁止が命じられた。今後は紙での提出が義務付けられる。Elliott氏が法的代理人なしの**本人申請（pro se）**の当事者であることも考慮されたとみられる。
一方、ブラジルでは裁判所がAIを利用してケースをレビューしていた事例で、2人の弁護士が同様のプロンプトインジェクション攻撃を試みたとされる。詳細は元記事を参照のこと。
なぜこのニュースが重要か#
Spader判事はいくつかの重要な点を指摘している。
①司法分野でも「どこにでもある」手法への対応が必要 プロンプトインジェクションは、AIが履歴書を審査する採用プロセスなど他の分野ではすでに広まっている。裁判所もこの脅威に備えたルール整備が急務だとSpader判事は警告する。
②本人申請者によるAI活用の落とし穴 Spader判事は、法律の専門家を持たない本人申請者がAIを誤った使い方をする傾向があると指摘した。多くの場合、チャットボットに自分の主張を支持させる形でのみ利用し、反論の検証や真実の確認を求めないという。こうした「AIの迎合性（sycophancy）」が当事者を誤った確信に固執させ、今回のような行動につながったとみられる。
③弁護士もクライアントのリスクに注意を Spader判事は、今後は依頼人が弁護士の知らないうちに訴訟文書へプロンプトインジェクションを行うケースが出てくる可能性にも言及し、弁護士側も注意が必要だと述べた。
まとめ#
今回の事例は、AIツールが司法の場にも深く関わり始める中で、その悪用の手口もすでに現実のものになっていることを示している。Spader判事が「この事例から得られる教訓は、この訴訟をはるかに超えたものだ」と述べたように、プロンプトインジェクションへの対応は今後の裁判所運営における重要課題の一つになりそうだ。
筆者の見解: AIツールの普及は、法廷という非常にデリケートな場においても、技術の悪用リスクと正しい活用方法の両面について、社会全体での議論が急速に求められる時代に入ったことを改めて感じさせる事例だ。
出典: Suspecting court of using AI, man injected prompts in filings to try to win case
