「AIに読み込まれたくないサイトが増えている」という話はよく聞きますが、実際の数字は調査によってかなり違います。2026年に公開された複数の調査を突き合わせると、サイト全体ではまだ少数派、ニュース・出版では過半数という構図が見えてきます。この記事では、数字の違いが生まれる理由と、運営者が判断するときのポイントを整理します。
なお、ChatGPTからの流入はGoogleの0.62%という調査を取り上げた記事でも触れたとおり、AI経由の流入が小さい理由をブロックだけで説明することはできません。ここでは「何が、どれくらいブロックされているのか」の事実だけを扱います。
Table of Contents
まず用語：GPTBotとrobots.txt
GPTBotはOpenAIのクローラー（ウェブを巡回する自動プログラム）、robots.txtはサイト側が「このボットは来ないでください」と宣言するテキストファイルです。以下の数字は、特に断りがない限りrobots.txtでの拒否を数えたものです。
調査ごとの数字を並べる
- Ahrefs（ドイツ語圏、2026年8月のデータ）：独・オーストリア・スイスのドメインから無作為に抽出した24,550件のうち、GPTBotを拒否していたのは2.27%。ただし最大手ポータル57件に絞ると40.4%でした。ニュース・出版系サイト（28件）では61%がGPTBotを明示的に拒否しています。
- Ahrefs（世界、2025年5月公開）：約1億4,000万サイトのうち、GPTBotを何らかの形でブロックしていたのは5.89%。ClaudeBotは前年から約33%増と、伸び率が最も高いボットでした。
- StackFox（2026年2月更新）：上位サイトのうちrobots.txtを持つ1,912サイトを見ると、GPTBotを拒否していたのは17%、ClaudeBotは15%。メディア・出版は67%、開発ツール・SaaSは8%でした。なおこの17%は「全サイト」ではなく「robots.txtがあるサイト」に対する割合です。
- HasData（2026年7月、上位約1万ドメイン＋ニュースサイト）：一般の上位サイトでGPTBotをrobots.txtで拒否していたのは7.9%、ニュースサイトでは50.5%でした。
なぜ数字がこれほど違うのか
- 母集団が違う：無作為抽出（小規模サイトが多い）は2%台、上位サイトは数%〜十数%、ニュース・出版は5〜6割と、見る範囲で桁が変わります。
- 数え方が違う：Ahrefsは「User-agent: *」で全ボットを拒否しているケース（ワイルドカード拒否）も含めます。HasDataはAI専用の拒否だけを数えます。AhrefsのDACH調査では、GPTBot拒否の約半分はOpenAIを狙ったものではなく、全体拒否の巻き添えだと分析されています。
- robots.txt以外が見えない：ファイアウォールやIP制限によるブロックは、多くの調査で測れていません。
つまり「増えている」かどうかは、どの層を見るかで答えが変わります。確実に言えるのは、ニュース・出版系で拒否が多く、一般サイトは少ないという点です。
「拒否の宣言」と「実際に防げるか」は別問題
HasDataは、robots.txtだけでなく実際にGPTBotの名前でアクセスして反応を確かめています。GPTBotを拒否していた592サイトのうち、39.5%（234サイト）は実際にはページを返していました。一方で、robots.txtには書いていないのに実際にはブロックしている「サイレント」なサイトも約5.5%ありました。
ただし、この検証は公式のGPTBotそのものではなく、同じUser-Agent文字列で送った疑似リクエストです。robots.txtは「お願い」にすぎず、強制力を持つのはサーバー側の制御だという点を示す結果と読むのがよいでしょう。
Cloudflareの動きが数字を動かしている
CDN大手のCloudflareは、2026年9月15日から、広告のあるページで学習用・エージェント用のクローラーを既定でブロックする方針を発表したと報じられています（検索用クローラーは許可のまま）。従来の「Pay Per Crawl」も「Pay Per Use」に置き換わるとのことです。
興味深いのは、HasDataの9月の再計測で、Cloudflare経由のサイトのうちGPTBotをrobots.txtで拒否している割合が17.1%から9.9%に下がった点です。Cloudflareが管理していたrobots.txtの拒否設定が外されたことが背景にあるとされていますが、調査側も「管理された実験ではなく、時間経過による変化」と断っています。ブロックが単純に増え続けているわけではなく、設定の主体がrobots.txtからサーバー側へ移っている可能性もあります。
運営者が判断するときのポイント
- 学習用と検索用を分けて考える：学習用クローラーを拒否しても、AI検索の引用に使われるボットは別に許可する、という使い分けができます。StackFoxの調査でも、学習用ボットのブロックは24%、検索用ボットは20%と差がありました。
- 自社の目的で決める：コンテンツそのものが商品のメディアは拒否の動機が強く、集客・問い合わせが目的の企業サイトは、AIに読まれて名前が出ることに価値がある場合があります。
- robots.txtだけで安心しない：本気で止めたい場合はCDNやWAFでの制御も必要です。
- 自社のアクセスログを見る：どのボットがどれくらい来ているかを確認してから決めましょう。
AI検索への見え方がサイトの評価にどう影響するかは、DeepSeekの検索APIの記事も参考になります。
まとめ
AIクローラーのブロックは、サイト全体では2〜15%程度、ニュース・出版では5〜6割と、見る母集団で大きく変わります。「増えている」と断言できるのは主にメディア系で、一般サイトでは少数派です。また、拒否の宣言と実際の遮断は別物で、Cloudflareのようなサーバー側の仕組みが今後の主役になりそうです。自社が「読まれたい側」か「守りたい側」かを決めてから、ボットごとに設定するのが現実的な進め方です。
