クロール制御

robots.txtに書いたからといって、取得されたコンテンツの「その後の使われ方」まで縛れるわけではありません。Googleのガリー・イリェーシュ氏の説明をもとに、できることとできないことを整理します。