クロール：Googleがページをクロールすることの意味

Search ConsoleやSEOツールに「クロール済み」という表示がある場合、それは単に、Googleのボットがそのページにアクセスし、そのソースコードを読み取ったことを意味します。このステップがなければ、どんなに優れたページであっても、コンテンツがどれほど説得力があり、デザインや文章にどれほどの手間がかけられていようとも、検索では表示されません。テクニカルSEOの基礎を学ぶ人は、ほぼ必然的にこの用語に出くわすことになります。また、Google Search Consoleを日常的に使用する際にも同様です。

ページがどのようにクロールされるか

Googlebotは、あるURLから次のURLへとリンクをたどって移動し、その過程で各ページのソースコード全体をダウンロードします。この訪問そのものを「クロール」と呼び、その後収集されたデータがどのように扱われるかとは関係ありません。また、ボットはページが最後に訪問された日時を記憶しており、その情報に基づいて、通常はそのURLのこれまでの更新頻度を参考にしながら、次回の訪問スケジュールを計画します。

警告：robots.txt のルールが誤って設定されていたり、noindex タグの記載が漏れていたりすると、ページのコンテンツに問題がなく、技術的にも正常に動作していても、クロールが行われなくなります。

ページがどのくらいの頻度でクロールされるかは、いわゆる「クロール・バジェット」によって決まります。定期的に更新され、内部リンクが充実しているページは優先的に扱われる一方、放置されたサブページはクロールの対象となる頻度が低いため、更新内容が反映されるまでに時間がかかってしまいます。特に、数千ものサブページを持つ大規模なウェブサイトでは、この予算によって、どの領域がタイムリーに巡回され、どの領域がたまにしか巡回されないかが顕著に左右されます。

ボットは内部リンクと外部リンクをたどります
ソースコードが完全に読み込まれます
Robots.txt ファイルはアクセスをブロックできる
クロール予算はアクセス頻度を左右する

クロールされたからといって、必ずしもインデックスに登録されるわけではない

「クロール」と「インデックス登録」はしばしば同義と見なされますが、実際には同じプロセスにおける2つの別々のステップです。コンテンツが乏しい、重複コンテンツがある、あるいはソースコード内の指示に矛盾があり、ボットに対してそのページを無視するよう促す場合など、ページがクロールされても、その後検索結果に表示されないことがあります。

Search Consoleでは、各URLについて、クロールはされているものの現在インデックスに登録されていないかどうかが個別に表示され、多くの場合、その理由も併せて示されます。このレポートを定期的に確認しておけば、単にランキングの推移を観察するだけの場合よりもはるかに早く問題に気づくことができます。というのも、ランキングの低下はたいてい、かなりの遅れを伴って初めて明らかになるからです。