AIはソーシャルメディアをAIの脅威から守れるか？#
AIによる生成コンテンツ（いわゆる「AIスラム」）や有害投稿の増加に対抗すべく、多くのソーシャルメディアプラットフォームがAIモデレーションを強化している。しかし、AIでAIに対抗するこのアプローチは、かえって問題を悪化させているケースが目立ってきた。
r/AskHistoriansで起きた「大量削除」事件#
今年4月、Reddit上の歴史Q&Aコミュニティ「r/AskHistorians」のモデレーター用Slackチャンネルが、突如として大量のアラートで埋め尽くされた。過去10年にわたる数十件のコメントや投稿が、自動的に削除されていたのだ。
モデレーターの一人であるDr. Sarah Gilbertによると、削除されたコンテンツのリンク先はいずれも「Rare Historical Photos」という歴史的画像共有サイトだったという。モデレーターたちは、Redditのシステムがこのサイトをスパムと判定し、関連投稿をまとめて削除したのではないかと見ている。Redditはコメントの求めに応じていない。
このコミュニティでは、ユーザーが何時間、場合によっては数日かけてリサーチして書いた回答が、長期間にわたって価値ある「アーカイブ」として機能している。その貴重なコンテンツが一瞬で失われたことは、コミュニティに大きなダメージを与えた。Gilbertは「私たちも専門家たちも、何もできなかった」と述べている。
RedditはAIモデレーションによって「ヘイト・暴力コンテンツへの対応件数を200%以上増加させた」「有害コンテンツへの露出を40%以上削減した」と説明している。だが、今回の事例が示すように、対応件数の増加がそのまま対応品質の向上を意味するわけではない。
誤検知問題：各プラットフォームで相次ぐ誤BAN#
誤検知（フォールスポジティブ）の問題はRedditだけにとどまらない。
Discord： AIモデレーションシステムが5月から7月初旬にかけて、約8,400アカウントを誤ってBANした。チェス盤やスプレッドシートのような「方眼状グリッドを含む画像」を、児童性的虐待素材（CSAM）と誤判定したのが原因だ。Discordはその後、該当アカウントをすべて復元したと説明しているが、本来は人間のスタッフがAIのフラグ付きコンテンツをレビューしてから対応するはずだったと認めており、バグによってそのステップが省略されていたと述べている。
Meta（Facebook / Instagram）： 2025年以降、多くのユーザーがAIモデレーションによるとみられる大量BANを訴えている。Metaはルール違反をしていないと主張するユーザーに対して、社員との対話手段を提供していない。Meta自身はAIが原因かどうかを明言していないが、同社がAIベースのモデレーションへ急速にシフトしていることは、一部のMeta従業員からも「変化が速すぎる」と懸念されている。
Tumblr： 2025年には自動モデレーションがコンテンツを不正確に「成人向け」と判定し、可視性を低下させる問題が発生。同年3月にはある午後の間だけで200件未満のアカウントを誤BANしたことが親会社Automatticによって認められた。同社はAIが原因かどうかは明言していないが、「機械学習分類と人間のモデレーションを組み合わせて使用している」と説明している。
AIモデレーションの構造的な問題：バイアスと自律性の喪失#
典型的なAIモデレーションシステムは、機械学習分類器を使って投稿を分析しルール違反を検出する。しかし、機械は皮肉・風刺・スラングといったコミュニケーションの機微を正確に理解することが難しい。
さらに深刻なのがバイアスの問題だ。Cornell大学のCitizens and Technology LabのリサーチディレクターでもあるGilbertは、「マージナライズド（社会的に周縁化された）グループは最も高い割合でモデレーションを受けており、それは往々にして誤検知の結果だ」と指摘する。ヘイトスピーチへの反論や差別的表現の再取得（language reclamation）などが誤って検出される傾向があるという。
「誤検知は公平性の問題です。すでに周縁化されているグループが、さらに沈黙させられ検閲される結果になる」とGilbertは述べている。
また、AIモデレーションはコミュニティ自身による自治能力も損なう可能性がある。詳細は元記事を参照。
まとめ#
AIモデレーションはコスト削減や有害コンテンツの迅速な除去に貢献できる側面があることは事実だ。一方で、チェス盤をCSAMと誤判定するような基本的なミスが現実に起きている以上、人間による監視は不可欠だ。Gilbertは「Redditのシステムの『判断』を信頼することが難しく、数字を信頼することも難しい」と語っている。
筆者の見解： AIで生成されたスパムやフェイクコンテンツが増加する中、AIによるモデレーションへの依存度は今後も高まるだろう。しかし、今回紹介した各プラットフォームの事例は、自動化だけでは「より多くの執行」が「より良い執行」にはならないことを明確に示している。人間のオーバーサイト（監視・監督）をいかにシステムに組み込むかが、今後のプラットフォーム設計における最重要課題の一つといえる。
出典: AI isn’t enough to protect social media communities from AI
