Googleはインターネット上のあらゆるウェブサイトをクロールして検索インデックスを作成し続けていますが、各ウェブサイトの全ページをクロールしているわけではなく、ウェブサイトに応じてクロールするページの上限数を決めています。このページ上限数は「クロールバジェット」と呼ばれており、Googleの公式ドキュメントには「限りあるクロールバジェットを有効に活用するために確認するべき事項」がまとまっています。 続きを読む ≫