クローラー：ウェブボットの定義と仕組み

クローラーとは、ウェブサイトを体系的に巡回し、リンクをたどって、後の分析のためにコンテンツを保存する自動化されたプログラムのことです。最も有名な例はGooglebotですが、まったく異なる目的で活動するAIクローラーも、すでに長く存在しています。自分のサイトをクロールしてもらいたい場合は、これらのボットが技術的にどのように動作し、その訪問頻度が何に左右されるのかを理解しておく必要があります。この基礎知識がなければ、それ以降の最適化は表面的なものにとどまってしまうからです。

クローラー・バジェットの理解と効果的な活用

クローラー管理のツールとしてのサーバーログ

クローラーの仕組み

クローラーは通常、既知のURLのリストから開始し、それらのソースコードをダウンロードします。このコードから新しいリンクを抽出し、次回の訪問に向けた待機リストに追加することで、時間の経過とともに、絶えず拡大し続ける巨大なウェブの地図が形成されていきます。この地図は、検索インデックスから専用の分析ツールやモニタリングサービスに至るまで、その後のほぼすべてのステップの基盤となっています。

ヒント：XMLサイトマップを使用すると、クローラーが個々のリンクをたどってURLを見つける必要がなく、重要なURLをすべて一目で把握できるため、このプロセスを大幅にスピードアップできます。

この「読み込み」「分析」「追跡」というサイクルは、24時間体制で、膨大な規模で行われており、その多くは数千台のサーバーに同時に分散されています。そのため、小規模なウェブサイトであっても1日に数回はアクセスを受けていますが、アルゴリズムの突然の更新といった問題が顕在化しない限り、運営者はそのことに全く気づかないことがよくあります。サーバーログを確認して初めて、この絶え間ないボットによるトラフィックが実際に可視化されますが、その規模の大きさに、多くの運営者は一見して驚かされるのが通例です。

既知のURLリストからの起動
ソースコードが読み込まれる
新しいリンクは待機リストに追加されます
プロセスは継続的かつ並行して実行される

クローラーの種類

検索エンジンのクローラーに加え、個々のページを重点的にチェックしてエラーを検出するSEOツールのクローラーや、価格比較ボット、アーカイブボットなども存在します。基本的な技術は似通っているものの、それぞれの種類には独自の目的があります。さらに最近では、従来の検索インデックスではなく、言語モデル用のコンテンツを収集するAIクローラーも登場しており、各カテゴリーの境界線はますます曖昧になってきています。そのため、サイト運営者にとっては、個々のボットの種類を明確に区別することがますます難しくなっています。

インデックス作成用の検索エンジンクローラー
エラーチェック用のSEOツール
価格比較サイト
ウェブの歴史のためのアーカイブボット

クローラの操作と制御

robots.txt ファイルを使用すると、クローラーがアクセスできる領域を指定できます。多くのオンラインショップでは、サーバーへの負荷を軽減し、コンテンツの重複を防ぐため、ショッピングカートシステムなどの重要な領域を意図的に除外しています。また、サイトのテクニカルSEOも、クローラーが重要な領域をどれだけ効率的に見つけられるか、そして重要でないページにどれだけのリソースが無駄に費やされるかを左右する要因となります。綿密に設計された内部リンク構造は、クローラーを本当に重要なページへと的確に誘導するものであり、堅実なオンページSEO最適化の重要な構成要素です。

Robots.txt はアクセスを制御します
サイトマップは重要なページへリンクしています
アクセス制限によりサーバーの負荷を軽減
サーバーログには実際のアクセス数が表示される

クローラー制御における典型的な誤り

サイトのリニューアルや新しいCMSの導入後など、robots.txtによってディレクトリ全体が誤ってブロックされてしまうことがよくあります。こうしたミスは、ページの見た目には直接現れないため、訪問者数の減少やSearch Consoleのレポートが空っぽになるまで気づかれないことがよくあります。大規模な技術的な変更を行うたびにすぐに簡単なテストを行えば、数週間後に気づくよりも、こうしたミスを即座に発見できる場合がほとんどです。

リニューアル後の不具合が見落とされていた
Robots.txt 内の誤ったパス
サイトマップが最新の状態に更新されていない
不具合が後になって初めて判明した

クローラー・バジェットの理解と効果的な活用

どのウェブサイトも、クローラーから割り当てられる注目度は限られており、これはしばしば「クロール予算」と呼ばれます。どのくらいの期間に何ページが訪問されるかは、ウェブサイトの規模、技術的なパフォーマンス、および新しいコンテンツの更新頻度によって異なります。この予算が重要でないページや重複ページに浪費されてしまうと、重要な新しいコンテンツが本来必要とされるよりも長く発見されないままになってしまいます。

予算を効果的に配分したい場合は、重要度の低い領域をクロール構造から徹底的に除外し、その代わりにカテゴリページと詳細ページからなる明確な階層構造を構築すべきです。重要なページまで数回のクリックで到達できる分かりやすい構造は、Webmaster Tools Basicsで説明されているような、定期的に更新されるサイトマップと同様に役立ちます。

一見無害に見えるURLパラメータ（並べ替えやトラッキング用など）でさえ、クローラーの観点からは常に技術的に独立した新しいページを生成することになり、その結果、気づかないうちに利用可能なリソースの相当な部分を消費してしまいます。一貫して設定されたcanonicalタグは、注目を本来のメインバージョンへと向け直し、重複ページが不必要にリソースを消費するのを防ぎます。

予算には本来、限りがある
重要でないページは容量を無駄にする
明確なページ階層により、全体像が把握しやすくなる
最新のサイトマップが適切なページへ誘導します

クローラー管理のツールとしてのサーバーログ

サーバーログは、ブラウザ上の分析ツールが後でどのような結果を示すかに関わらず、どのクローラーがいつどのページにアクセスしたかを正確に示します。したがって、この生データは、マーケティングにおけるアナリティクスの基礎でも説明されているように、人間の訪問者に焦点を当てている従来のウェブ分析ツールでは本質的に捉えきれない視点を提供します。

特にサイトのリニューアルなど、技術的な変更を行った後は、これらのログを定期的に確認しておくことが重要です。そうすることで、クローラーが新たなエラーページに遭遇していないか、あるいは重要なセクションへのアクセス頻度が急に低下していないかが、すぐに把握できるからです。この確認を怠ると、訪問者数の減少という形で、数週間経ってから初めて問題に気づくことになりがちです。

より詳しく確認したい場合は、そのボットとみられるものが実際に指定されたプロバイダーから送信されたものかどうかを追加で検証すべきです。なぜなら、一部のマルウェアは、ブロックを回避するために、有名なクローラーを装っていることがあるからです。IPアドレスを各プロバイダーの公式範囲と照合するだけで、すぐに真相が明らかになります。