Cloudflareが手をつけたのは、クローラーを止めるか通すかという二択ではなく、AIエージェントのアクセスに値段をつける仕組みそのものだ。同社は検索・AIエージェント・AI学習という3つの用途ごとにクローラーの通行可否を切り替えられる新機能を、2026年9月15日から全顧客に既定適用する。広告収益で成り立つページではTraining・Agent系ボットを既定でブロックしつつ、Search用途のクローラーは通し続ける設定だ。同時に、AIエージェントがページ・データセット・API・MCPツールにアクセスするたびにHTTP 402ベースのプロトコル「x402」で課金できる「Monetization Gateway」も発表した。パブリッシャーにとっては、検索に引用されるための巡回（AIOで守りたい経路）と、無断学習・無断エージェント実行のための巡回とを、初めて用途別に区別して制御できるようになる。逆にAIエージェントを大量に走らせる開発者・企業にとっては、リクエスト単位で支払いが発生しうる従量コストがワークフローに新たに組み込まれることになる。インターネットの2割超を占めるCDN事業者がこの既定値を握ったという事実は、AI企業とパブリッシャーのデータアクセスを巡るルールが、政府の法規制の制定を待たずインフラ企業の技術的なデフォルト設定によって書き換えられていく——AIガバナンスの重心が公的な法制度だけでなくプラットフォーム側の既定値にも広がっていく大きな流れを強めるものだ。

何が起きたか

Cloudflareは2026年7月1日、Webサイトへのクローラーアクセスを検索（Search）・AIエージェント（Agent）・AI学習（Training）という3つの用途に分けて制御できる新機能を発表した。Searchは「後で質問に答えるためにコンテンツを収集・索引化する挙動」、Agentは「人に代わってリアルタイムで行動する自動化挙動」、Trainingは「モデルの学習・ファインチューニングのためにコンテンツを持ち出すクローラー」とそれぞれ定義されている。

新しい既定設定は2026年9月15日から適用され、広告収益で運営されているページではTraining・Agent系ボットがデフォルトでブロックされる一方、Search用途のクローラーは引き続き許可される。サイト運営者はセキュリティ設定からこの既定値をオプトアウトできる。Googlebot・Applebot・Bingbotのように複数用途を兼ねるクローラーには最も制限的なルールが適用され、たとえばTrainingをブロックする設定にすると、同じボットのSearchやAgent用途としての通行も連動してブロックされる。

同日、Cloudflareはもう一つの発表として、AIエージェントがページ・データセット・API・MCPツールにアクセスするたびに課金できる「Monetization Gateway」を明らかにした。Cloudflareが保護するあらゆる資産に料金を設定できる仕組みで、リクエスト単位の支払いをHTTP 402ベースのプロトコル「x402」で処理する。AIエージェントがページやAPIをリクエストすると、Cloudflareはまず「402 Payment Required」を返し、価格・受け付ける支払い手段・支払い先を示す。支払いが確認されるまでコンテンツは転送されない。料金例としてGETまたはPOSTリクエスト1回あたり0.01ドルという設定が挙げられている。ただしMonetization Gatewayはまだリリースされておらず、現在はウェイトリストへの登録を受け付けている段階だ。

仕組み・詳細

新機能は無料プランを含む全顧客に提供される。カテゴリ別の制御に加えて、Cloudflareは既知のボット・エージェントを追跡する新しいデータベース「BotBase」も導入した。ただし一部報道はBotBaseを「誰でも見られる公開データベース」と伝えたが、これは不正確だ。Cloudflare公式ブログによれば、Verified登録済みのボット・エージェントの全カタログを閲覧できるのはEnterprise Bot Management契約顧客に限られており、一般公開のデータベースではない。

ボット・エージェントに付与される「Verified」ラベルについて、Cloudflare公式ブログは「ボット運営者は、正直に自分自身を名乗ること、そしてその正直さによって得たアクセスを濫用しないことの2点を示す必要がある」と説明している。

数字で見る

数値 内容 検証状況
3分類 クローラー制御の用途区分（Search / Agent / Training） 確認済み
2026年9月15日 新しい既定設定（広告掲載ページでTraining・Agentを既定ブロック）の適用開始日 確認済み
20%超 Cloudflareのネットワーク配下にあるWeb全体の割合 確認済み
36% 世界の最多訪問サイトのうちCloudflareのネットワークに依存する割合 確認済み
$0.01 Monetization Gatewayが例示するGET/POSTリクエスト1回あたりの料金例 確認済み
57.5%（人間42.5%） 自動システムからのHTTPリクエストが人間からのリクエストを上回ったとされる比率 未検証（一次ソース未到達。二次報道間で57.5%/57.4%等の数値の揺れあり）

背景

この発表は、パブリッシャーとAI企業の間で、コンテンツへのアクセス条件を誰が・どう決めるかという力学が変化している局面で行われた。CloudflareのCEO、Matthew Prince氏がX（旧Twitter）でCloudflare Radarのデータを引用し、自動システムからのHTTPリクエストが人間からのリクエストを上回ったと発表したとされるが、この投稿原文にもRadarの該当ページにも直接到達できておらず、57.5%という数字自体は未検証にとどまる。

確認できる事実としては、Cloudflareがインターネットの2割超を占め、世界で最も訪問されているサイトの36%が同社のネットワークに依存しているという規模がある。この規模のCDN事業者が、AIエージェント・AI学習クローラーに対する既定のアクセス許可と、コンテンツアクセスへの課金という2つの仕組みを同時に用意したことは、個々のパブリッシャーがrobots.txtを個別に設定するのとは異なる、インフラ層で一括して適用される既定値としての性質を持つ。

なぜ重要か

この発表が動かしたのは、AIエージェントによるWebコンテンツへのアクセスを「誰が・いくらで・どの用途に許すか」という基本的な既定値だ。パブリッシャー側にとっては、検索エンジンに引用されるための巡回と、無断でのモデル学習・エージェント実行のための巡回とを、初めて用途別に区別してコントロールできるようになる。自サイトの記事がAI検索の回答に引用される機会は残しつつ、学習データとしての無断収集やエージェントによる自動アクセスだけを狙って遮断・課金対象にする、という選択が可能になったわけだ。

一方、AIエージェントを大量に走らせて情報収集や自動タスクを行う開発者・企業にとっては、リクエスト単位で支払いが発生しうる従量課金の壁が新たに組み込まれることになる。エージェントが多くのページ・APIを横断的に呼び出すワークフローほど、このコストがそのまま運用コストに跳ね返る。

インターネットの2割超を占めるCDN事業者がこの既定値を握ったという事実は、AI企業とパブリッシャーのデータアクセスを巡るルールが、政府による法規制の制定を待たずに、インフラ企業の技術的なデフォルト設定によって書き換えられていくという流れを強めるものだ。AIガバナンスの重心は、公的な法制度だけでなく、CDN・プラットフォーム側が握る既定値にも広がりつつある。