AIによるコンテンツ無断利用に、Webインフラ大手がついに動いた。
Cloudflareが2026年7月1日、AIクローラーに関する重大なポリシー変更を発表した。出版社のコンテンツが無償で学習データに使われ続ける現状を変える、業界注目の施策だ。
この記事でわかること：
- Cloudflareが何を、いつからブロックするのか
- 「混合利用クローラー」とは何か、なぜ問題視されているのか
- 出版社が収益を得る新モデル「Pay Per Use」の仕組み
- GoogleとCloudflareの見解の違い
約6分で読めます。
このポリシー変更は、AIモデル提供企業がWebコンテンツにアクセスする方法そのものに影響を与える可能性がある。
【結論】今回の発表・重要ポイント4選#
忙しい読者のために、核心を先にまとめる。
- 2026年9月15日から、「混合利用クローラー」は広告掲載ページへのアクセスをデフォルトでブロックされる
- 新規顧客・新規サイト・既存の無料ユーザーがこの新デフォルト設定の対象となる
- 「Pay Per Crawl」が「Pay Per Use」へ進化し、コンテンツがAIの回答に使われた時点で出版社が報酬を得られるモデルになる
- Ceramic.aiとYou.comの2社が最初のパートナーとして参加している
各ポイントの詳細は後続セクションで解説する。
「混合利用クローラー」とは？背景と基本概念#
このセクションでは、今回のポリシー変更の核心にある「混合利用クローラー」という概念を整理する。
**クローラー（Crawler）**とは、Webサイトを自動的に巡回してコンテンツを収集するプログラムだ。
従来、クローラーの主な目的はGoogle検索のような従来型の検索インデックス作成だった。
しかし近年、AIの台頭により状況が変わった。同一のクローラーが以下の3つを同時に行うケースが増えている。
- 検索インデックスの作成
- AIエージェントサービスへの情報提供
- AIモデルの学習データ収集
この3つを一つのクローラーで行うものを、Cloudflareは**「混合利用クローラー（mixed-use crawlers）」**と呼んでいる。
Cloudflareが問題視するのは、サイトオーナーが「検索には表示されたい」という意図でクローラーを許可した場合でも、結果的にAI学習やエージェント利用にコンテンツが使われてしまう点だ。
Cloudflareの共同創業者兼CEOのMatthew Prince氏は次のように述べている。
「インターネット上のトラフィックの大部分が非人間（ボット）になった今、持続可能なエコシステムが生まれるよう、さらに踏み込んで行動しなければならない。」
なお、ボットのトラフィックが人間のトラフィックを超えたのは、当初の予測より早いタイミングだったとCloudflareは説明している。
新ポリシーの主な内容と適用範囲#
ここでは、2026年9月15日から施行される具体的なルールを整理する。
ブロックの対象となるページ
- 広告を掲載しているページ
ブロックの対象となるクローラー
- 検索・エージェント利用・AIトレーニングを混合して行うクローラー
新デフォルト設定が適用されるユーザー
| 対象 | 適用 |
|---|---|
| Cloudflareの新規顧客 | 対象 |
| 既存顧客が新規に設定したサイト | 対象 |
| 既存の無料ユーザーの全サイト | 対象 |
サイトオーナーは設定を変更することで、このデフォルトを上書きすることも可能だ。
Cloudflareがこの変更で目指すこと
Cloudflareは、混合利用クローラーを持つ企業に対して、検索用のクローラーとAIエージェント・トレーニング用のクローラーを分離するよう促すことを明確な目的として挙げている。
Googleへの言及と同社の見解#
Cloudflareは発表の中で、「世界最大の検索エンジン」という表現で明らかにGoogleに言及した。
その内容は、「そのエンジンは他のAI企業と比較して約2倍の情報にアクセスできる状態にある」というものだ。理由として、Googleがサイト運営者にとって検索に表示され続けるためにはAI利用を許容せざるを得ない状況を作り出している、という点を指摘している。
これに対してGoogleは過去に反論を示している。同社はGoogle Extendedというボットを提供しており、サイトオーナーはこれを使ってGemini AppsやVertex APIなどのAI製品・サービスへのコンテンツ利用をオプトアウトできる。このオプトアウトは、Googleの通常の検索結果への掲載には影響しないとしている。
ただし、GoogleのフラッグシップクローラーであるGooglebotは、AI OverviewsやAI Modeを含む検索機能全般のためにクロールを行っていることも事実だ。
出版社への収益還元モデル「Pay Per Use」とは#
今回の発表で特に注目されるのが、既存サービスの進化だ。
Cloudflareはこれまで**「Pay Per Crawl」**（クロール時に課金）という仕組みを提供していた。これはAIボットがページを取得（フェッチ）した時点でウェブサイトに報酬が支払われるマーケットプレイスだ。
今回、これが**「Pay Per Use」**へと進化する。
Pay Per Crawl との違い
| 項目 | Pay Per Crawl | Pay Per Use |
|---|---|---|
| 課金タイミング | コンテンツを取得した時点 | コンテンツが実際に価値を生み出した時点 |
つまり、AIがページを取得しただけでなく、そのコンテンツが実際にAIの回答やサービスの中で使われた時点で出版社に報酬が発生する仕組みだ。
この変更には帯域幅とコンピューティングリソースの節約という側面もある。Cloudflareのデータによると、AIクローラーによるクロールトラフィックの50%以上が、変更のないページの再取得に費やされているという。
最初のパートナー企業
現時点でCloudflareが連携を発表しているのは以下の2社だ。
- Ceramic.ai：出版社のコンテンツがCeramicのAI検索結果に表示された際に報酬を支払う
- You.com：出版社のプレミアムコンテンツにYou.comがアクセスした際に報酬を支払う
Cloudflareは、他のAI企業もそれぞれの業務形態に合わせてこのモデルをカスタマイズできると説明している。
出版社・AI企業・サイトオーナーへの影響#
このポリシー変更が誰にどう影響するかを整理する。
出版社・コンテンツ提供者にとって
- コンテンツが無断でAI学習に使われるリスクが低減する可能性がある
- Pay Per Useを通じて、AIサービスへの貢献に対する報酬を得られる機会が生まれる
- 知的財産の保護と検索での発見可能性を両立できる方向性が示された
AIモデル提供企業にとって
- 学習データやエージェントサービスのためのWebアクセス方法を見直す必要が生じる可能性がある
- 検索用クローラーとAI用クローラーを分離することがCloudflareから強く求められている
Cloudflareの有料・無料ユーザーにとって
- 無料ユーザーは自動的に新デフォルト設定が適用される
- 設定を変更することで、従来の挙動に戻すことも可能
まとめ：Cloudflareが示すWebの新しいルール#
今回のCloudflareの発表を振り返ると、以下の点が核心だ。
- 2026年9月15日から、混合利用クローラーは広告掲載ページへのデフォルトアクセスがブロックされる
- 新規・無料ユーザーがこの変更の対象となる
- Pay Per Useにより、出版社はコンテンツが実際に利用された時点で収益を得られる
- 最初のパートナーはCeramic.aiとYou.comの2社
CloudflareのCEO Matthew Prince氏は「ボットが人間のトラフィックを超えた今、持続可能なエコシステムの構築を急ぐ必要がある」と述べており、今回の施策はその一環と位置づけられている。
AI企業、出版社、サイトオーナーそれぞれにとって対応が求められる変化だ。詳細は元記事を参照してほしい。
情報ソース：TechCrunch - Cloudflare’s new policy pushes AI companies to pay for publishers’ content（著者：Sarah Perez、2026年7月1日）
