AIの学習にサイトのコンテンツを使わせたくない場合、これまでは企業ごとに別々のクローラー名（ユーザーエージェント）を指定する必要がありました。DesignRushのSEO週間まとめによると、Google、Microsoft、OpenAI、Anthropicが、robots.txtに書く1つの共通トークンでAI学習のオプトアウトを示せる仕組みに対応する方針だと報じられています。実装時期や仕様はまだ流動的なので、現時点で押さえておきたいポイントを整理します。
Table of Contents
報じられている内容
- 共通トークンの案は、IETF（インターネット技術の標準化団体）に提出されたドラフトとして提案されている。ドラフトはAnthropicの担当者が執筆したとされる。
- 実装時期は各社で異なる。Googleは2027年初頭を目標、Microsoftは2027年2月1日開始、OpenAIは「今後数か月で」実装を目指すと伝えられている。Anthropicはすでに実装を始めたと説明している。
- 一方、標準化の作業グループの参加者は、プロセスはまだ終わっておらず、大きな意見の相違が残っていると述べている。ドラフトは標準として確定していない。
これまでとの違い
従来は、たとえばGoogleのAI学習用の制御には「Google-Extended」といったクローラー別の指定が必要でした。共通トークンが普及すれば、1行で参加企業すべてに意思表示できる可能性があります。robots.txtでAIクローラーを個別に制御する考え方は、当メディアのrobots.txtの限界とAIクローラーの制御に関する記事でも整理しています。
注意したい3つのポイント
1. 契約が優先される可能性がある
まとめ記事によると、ドラフトには「個別の合意（ライセンス契約など）がサイトの学習設定より優先され得る」という趣旨の記述があります。また、学習データだけを集めるクローラーは、学習拒否のページを取得しない選択をしてもよい、という扱いで、対応は各クローラーの判断に委ねられます。つまり、トークンは強制力のある遮断ではなく、契約のないサイトからの「お願い」に近い性格だと読めます。
2. Google-Extendedとの関係
報じられているところでは、GoogleはGoogle-Extendedを未指定のサイトについて、新トークンをGoogle-Extendedの「禁止」として扱う方針です。そして、Google-Extendedを禁止にすると、Geminiアプリでのグラウンディング（回答の根拠としてのページ利用）からも外れるとされています。学習への利用を断る1行が、Gemini上での露出の低下につながる可能性があります。
3. 効果は測ってから判断する
同じまとめ記事では、SEO専門家のサイラス・シェパード氏が、Search Consoleを使って1サイトをAI OverviewsとAIモードの表示対象から外すテストを行った例が紹介されています。AI経由の表示は0になりましたが、通常のオーガニッククリックも減ったとされます。ただし順位の上昇など他の要因も混在しており、結論は慎重に扱う必要があります。このテストは学習の拒否とは別の制御ですが、「ブロックの影響は事前には読みにくい」という教訓になります。
実務で何をすべきか
- 現在のrobots.txtを点検する: Google-ExtendedやGPTBotなど、AIクローラーに関するルールが意図どおりか確認します。
- Google-Extendedは明示的に書く: 未指定のままだと、新トークンの扱いに引きずられる可能性があります。許可・禁止のどちらにするか、方針を決めて明記します。
- ブロック前後の数字を記録する: Search Consoleのクリック数や、指名検索の動きを、変更の前後で比較できるようにしておきます。
- 契約・利用規約を確認する: コンテンツの提供やライセンスの契約がある場合は、AI学習に関する条項を確認します。
- 仕様が固まるまで過信しない: 標準化はまだ途中です。各社の公式発表を確認しながら進めます。
まとめ
AI学習のオプトアウトを1行で示せる共通トークンは、運営者の負担を減らす方向の動きです。ただし、規格は未確定で、契約による上書きもあり得ます。また、Googleでは学習の拒否がGeminiでの見え方に影響する可能性も報じられています。「学習されたくない」と「AIに見つけてほしい」は両立しにくい場面があるため、まずは現状のrobots.txtを点検し、方針を明文化したうえで、変更後の数字を追える状態にしておきましょう。
