Googleは検索結果に表示するウェブサイトの情報を収集するために、ネット上に公開されている無数のウェブページの情報を「Googlebot」と呼ばれるクローラで収集しています。このGooglebotに関する公式ドキュメント(英語版)には「15MB以上のファイルをクロールする際は、先頭15MBまでしかクロールしない」という記載が含まれているのですが、この15MB制限の詳細についての解説が新たに公開されました。
Googleによるウェブページ収集は1ページ当たり最大15MBまで、検索順位を下げないために必要な対策は？
