GoogleのGary Illyes（ギャリー・イリェーシュ）氏が、2026年10月21日公開のSearch Central動画で、robots.txtの「限界」について改めて説明しました。AIクローラーのブロックが話題になる中、robots.txtに何を期待してよいのかを整理しておきましょう。
Table of Contents
robots.txtは「アクセスの意思表示」にすぎない
イリェーシュ氏によると、インターネット標準のRFC 9309に基づく通常のrobots.txtの指示は、準拠するクローラーが「何をクロールしてよいか」を決めるものです。クロールされた後のコンテンツが、どのシステムでどう使われるかまでは制御できません。同氏はrobots.txtを「アクセス設定のためのプロトコル（access preference protocol）」と表現しています。
つまり、robots.txtは「入口で来訪者に伝える張り紙」のようなものです。守るかどうかは相手の実装次第で、強制力のあるアクセス制御（認証やIP制限など）とは性質が異なります。
特定のAIクローラーだけを止めるには
あるAIクローラーだけを止め、ほかは許可したい場合は、そのクローラー固有のユーザーエージェントトークンを指定してDisallowルールを書きます。サイト全体を一括で拒否するのではなく、クローラーごとに方針を分ける考え方です。
- 検索用のクローラーと、学習用のクローラーは、別のトークンで区別されていることが多い
- どのトークンが何の用途かは、各社の公式ドキュメントで確認する
- トークンの綴りを間違えると、意図したクローラーには効かない
Google-Extendedとは何か
Google-Extendedは、クロールしたコンテンツを将来のGeminiモデルの学習や、Geminiアプリ・Vertex AIでのグラウンディング（回答の根拠づけ）に使ってよいかを示すトークンです。Googleのクローラー一覧によれば、Google検索への掲載には影響しません。また、独立したクローラーではなく、専用のHTTPユーザーエージェント文字列も持ちません。
「AI対策でGoogle-Extendedをブロックしたら検索順位が落ちるのでは」と心配する声がありますが、Googleの説明では検索インデックスとは別の扱いです。
用途別の「使い方の意思表示」はまだ草案段階
イリェーシュ氏が共同で執筆したIETFの草案文書では、robots.txtに「Content-Usage」というルールを加え、コンテンツの利用方法に関する希望を表明できるようにする案が示されています。ただし、これはワーキンググループの文書であり、承認されたものではありません。現時点では、「クロールは許可するが学習には使わないでほしい」といった意思を、標準的な方法で表す手段は確立していません。
関連：OpenAIとCloudflareの取り組み
同じ週に、CloudflareがOpenAIとの研究パイロットについてブログ記事を公開しました。ネットワークの約1%を対象にした取り組みで、OpenAIが「数億ページ」規模の新しいページを発見・インデックスする助けになったとされています。記事は、新しいページの発見は一時的にクロールを増やす可能性があるとしつつ、「ページに関するシグナルは、アクセス許可を与えるものではない」とも述べています。検索用のOAI-SearchBotと、学習用のGPTBotをrobots.txtで分けて管理するという考え方が、あわせて示されました。
実務で何をすべきか
- 現在のrobots.txtを棚卸しする：どのクローラーを許可・拒否しているかを一覧にします。
- 目的を決める：AI検索に引用されたいのか、学習利用は避けたいのか。方針がないままブロックすると、AI検索からの露出機会も失う可能性があります。
- クローラーごとにトークンを指定する：検索用と学習用が分かれている場合は、別々に判断します。
- 守られない前提も持つ：機密性の高い情報は、robots.txtではなく認証やアクセス制限で守ります。
- ログで確認する：サーバーログで実際のクローラーのアクセスを確認し、意図通りに動いているか見ます。
まとめ
robots.txtは「クロールしてよいか」を伝える仕組みであり、取得後の利用まで制御するものではありません。AIクローラー対策では、クローラー別のトークン指定と、公式情報に基づく用途の見極めが重要です。AIクローラーのブロック状況については、AIクローラーをブロックするサイトは本当に増えている？もあわせてご覧ください。
