ページがどのようにクロールされるか

Googlebotは、あるURLから次のURLへとリンクをたどって移動し、その過程で各ページのソースコード全体をダウンロードします。この訪問そのものを「クロール」と呼び、その後収集されたデータがどのように扱われるかとは関係ありません。 また、ボットはページが最後に訪問された日時を記憶しており、その情報に基づいて、通常はそのURLのこれまでの更新頻度を参考にしながら、次回の訪問スケジュールを計画します。

警告：robots.txt のルールが誤って設定されていたり、noindex タグの記載が漏れていたりすると、ページのコンテンツに問題がなく、技術的にも正常に動作していても、クロールが行われなくなります。

ページがどのくらいの頻度でクロールされるかは、いわゆる「クロール・バジェット」によって決まります。定期的に更新され、内部リンクが充実しているページは優先的に扱われる一方、放置されたサブページはクロールの対象となる頻度が低いため、更新内容が反映されるまでに時間がかかってしまいます。 特に、数千ものサブページを持つ大規模なウェブサイトでは、この予算によって、どの領域がタイムリーに巡回され、どの領域がたまにしか巡回されないかが顕著に左右されます。

• ボットは内部リンクと外部リンクをたどります
• ソースコードが完全に読み込まれます
• Robots.txt ファイルはアクセスをブロックできる
• クロール予算はアクセス頻度を左右する

クロールされたからといって、必ずしもインデックスに登録されるわけではない

「クロール」と「インデックス登録」はしばしば同義と見なされますが、実際には同じプロセスにおける2つの別々のステップです。 コンテンツが乏しい、重複コンテンツがある、あるいはソースコード内の指示に矛盾があり、ボットに対してそのページを無視するよう促す場合など、ページがクロールされても、その後検索結果に表示されないことがあります。

Search Consoleでは、各URLについて、クロールはされているものの現在インデックスに登録されていないかどうかが個別に表示され、多くの場合、その理由も併せて示されます。このレポートを定期的に確認しておけば、単にランキングの推移を観察するだけの場合よりもはるかに早く問題に気づくことができます。というのも、ランキングの低下はたいてい、かなりの遅れを伴って初めて明らかになるからです。

• クロールは常に最初の一歩です
• インデックス作成はその後に行われます
• 質の低いコンテンツはインデックス登録を遅らせる
• 各URLにはそれぞれ独自のステータスが表示されます

XMLサイトマップに含まれる内容

技術的に言えば、サイトマップとは、URLごとに最終更新日、更新頻度、相対的な優先度などの追加情報を記載したXMLファイルのことです。Googleなどの検索エンジンは、サイト内のリンクだけを頼りにサイトを巡回するのではなく、これらの情報を活用して、新規または変更されたページをより迅速に検出しています。

サイトマップはインデックス登録を保証するものではなく、単にクローラーに対して特定のページを訪問するよう促すものです。

特に、数千ものサブページを持つ非常に大規模なウェブサイトや、バックリンクがまだ少ない新規ドメインの場合、適切に管理されたサイトマップは、新しいコンテンツの発見を大幅に促進します。ファイルに重要なページが欠けていたり、誤ったURLが含まれていたりすると、貴重なクロール予算が無駄になってしまいます。

• URLごとの最終更新日
• 各ページの相対的な優先度
• 更新頻度に関する参考情報
• 重複コンテンツの排除

サイトマップが検索順位に重要な理由

サイトマップは、適切な内部リンクやオンページ最適化の代わりになるものではなく、これら両方の対策を補完するものです。 Google Search Console を使用すると、送信された URL のうち実際にインデックス登録された数や、どこに不一致が生じているかを確認できます。こうしたレポートは、誤ったリダイレクト、アクセスがブロックされたディレクトリ、内部リンクのない孤立ページといった技術的な問題の最初の兆候を示すことがよくあります。

• サイトマップとインデックスの相違を確認する
• 誤ったリダイレクトを早期に検知する
• 内部リンクのない孤立ページを見つける
• インデックス作成レポートを定期的に確認する

サイトマップファイル自体の読み込み速度も重要な要素となります。特に、数千ものURLを含み、性能の低いサーバーから配信される場合はなおさらです。圧縮され、構造が整ったファイルは、明確な構成がなく数メガバイトもあるごちゃごちゃしたファイルに比べ、クローラーによってより確実かつ迅速に完全に読み込まれます。

技術的なSEOの実践におけるサイトマップ

サイトマップの構築は、クロールやページの読み込み時間など、その他の技術的要素と密接に関連しています。 非常に大規模なドメインの場合は、検索エンジンが構造をより迅速に把握できるよう、親インデックスを備えた複数のサイトマップファイルに分割することをお勧めします。また、サイトのリニューアルの際も、サイトマップを必ず更新して再送信する必要があります。そうしないと、サイトマップはすでに存在しない古いURLを引き続き参照し続けてしまいます。

• 大きなドメインを複数のファイルに分割する
• 上位のサイトマップインデックスを作成する
• リニューアルのたびに再提出する
• 古いURLを徹底的に削除する

さまざまなサイトマップの種類の一覧

テキストページ用の従来のサイトマップに加え、個々のコンテンツタイプに特化したサイトマップも存在します。 画像サイトマップは、検索エンジンがページ上の画像を的確に把握するのに役立ちます。動画サイトマップは再生時間やサムネイル画像などの追加情報を提供し、ニュースサイトマップは、特に高速に読み込まれるため、最新の記事を取り扱う編集部にとって有用です。 中小規模のウェブサイトのほとんどの場合、すべてのページを網羅した、適切に管理された単一のサイトマップで十分ですが、さまざまな形式のコンテンツを抱える大規模なポータルサイトでは、コンテンツの種類ごとに明確に分類しておくことが有効です。 どの方式が適切かは、各ウェブサイトのコンテンツの重点によって異なりますが、通常、既存の構造を完全に作り直すことなく、段階的に追加・拡充することが可能です。

• 画像・写真のサイトマップ
• 再生時間とサムネイル付きの動画サイトマップ
• 最新編集記事のニュースサイトマップ
• 小規模なサイトであれば、サイトマップ1つで十分です

どのタイプを選択した場合でも、サイトマップには実在し、アクセス可能なページのみを含めるべきであり、時間の経過とともに情報が古くなったり、クローラーを無効なリンクに誘導したりしないよう、定期的に自動的に更新される必要があります。

サイトマップ：実務におけるよくある間違い

多くのサイトマップには、ページが削除されたり名前が変更されたりしたにもかかわらず、ファイルが適切に修正されなかったため、すでに存在しないURLが長期間にわたって含まれていることがあります。また、リダイレクトも、本来は最終的な、実際にアクセス可能な宛先アドレスのみが記載されるべきサイトマップに、気づかれないまま含まれてしまうことがよくあります。 サイトマップを自動的に生成するコンテンツ管理システム（CMS）は、こうしたエラーを減らすことはできますが、定期的な手動による確認に代わるものではありません。

URL構造を一貫して管理することも、サイトマップに直接影響を与えます。古いエントリを整理せずにパーマリンクを後から変更すると、永続的に誤ったリンクが生じてしまいます。

• サイトマップから削除されたページを除外する
• 最終的な宛先のみを入力してください
• 自動生成を鵜呑みにしない
• パーマリンクの変更を確実に反映させる

サイトマップデータを分析ツールと組み合わせる

きちんと管理されたサイトマップは、実際のユーザーデータと組み合わせることで初めて、全体像を把握することができます。Google Analyticsを使用すれば、サイトマップ内の URL に実際に訪問者が来ているか、あるいはインデックス登録されているにもかかわらず特定のセクションがほとんどアクセスされていないかを確認することができます。

この組み合わせは、単なるクロールレポートよりも迅速に、検索エンジンにとっても訪問者にとっても関連性がないため、内容を改訂すべきページやサイト構造から削除すべきページを明らかにしてくれることがよくあります。

• サイトマップのデータを実際の訪問者数と照合する
• 利用者の少ないエリアを特定する
• データに基づいて優先順位を決定する
• クロールレポートだけでは不十分です