AIクローラー：GPTBot、PerplexityBotなどが何をするのか

GPTBotやPerplexityBotといったAIクローラーは、ランキング作成のためではなく、トレーニングデータの収集や、ChatGPTのようなシステム向けのリアルタイム回答を生成するためにウェブをクロールします。技術的には従来のクローラーと似た仕組みですが、テクニカルSEOにおけるGooglebotとは異なる目的を持っています。これにより、ウェブサイト運営者にとっては、独自のルールと注意を要するまったく新しいカテゴリーのボットが出現することになります。こうしたボットの数は着実に増加しており、その背景には、Geminiのような自社システムの拡張と並行して、新たなAIプロバイダーが次々と独自のクローラーをネット上に送り出していることがあります。

Robots.txt での AI クローラーの設定手順（ステップバイステップ）

AIクローラーと独自のサイトマップの連携

AIクローラーの役割

AIクローラーは、他のボットと同様にページのソースコードをダウンロードし、テキストを解析します。しかし、従来のクローリングとは異なり、その目的はランキング要因の分析ではなく、言語モデルのための素材の収集、あるいは具体的なユーザーの質問に対する即時的かつ個別の回答の提供にあることがほとんどです。

警告：多くのAIクローラーはrobots.txtを部分的にしか遵守しないか、複数のユーザーエージェントを並行して使用しているため、単一のエントリだけでは制御を完全に維持できない場合がしばしばあります。

これらのボットの中には、将来のモデルバージョンに向けた学習データのみを収集するものもあれば、ユーザーからの問い合わせがあるたびに最新のコンテンツを取得し、それに基づいて最新の回答を生成するものもあります。この違いによって、自身のコンテンツが回答にどれほど早く反映されるか、また、ページを再更新して自動的に修正されることなく、古い情報がどれほど長く残ってしまうかが決まります。

GPTBotはOpenAIのためにデータを収集しています
PerplexityBotはコンテンツをリアルタイムで取得します
Google-ExtendedがGeminiのトレーニングに影響
ClaudeBotはAnthropicモデル向けにクロールを行います

従来の検索エンジンクローラーとの違い

Googlebotは、ページを検索結果リストのインデックスに登録するためにクロールを行います。一方、AIクローラーは、従来の意味での独自の検索インデックスを一切持たず、トレーニング用コーパスか、その場で生成された単一の回答のいずれかを参照します。このインデックス構造の欠如により、AIクローラーに対する自サイトの可視性を信頼性を持って測定すること自体がさらに困難になっています。

サイト運営者にとっては、管理上の作業が倍増することになります。Google向けのrobots.txtルールが、自動的にすべてのAIクローラーに対応するとは限らないからです。各プロバイダーは独自のユーザーエージェントやルールを採用しており、それらは絶えず変更される可能性があるためです。そのため、一度作成した許可・ブロック対象のボットリストは、定期的に確認・更新する必要があります。これは、今やあらゆるGEOエージェンシーの業務において欠かせない作業となっています。

Googlebotが検索インデックスを構築する
AIクローラーがモデルや回答にデータを供給する
どのボットにも独自のルールが必要です
管理には継続的なメンテナンスが必要だ

AIクローラーに対する可視性を制御する

AIの回答に表示されたい場合は、AIクローラーを明示的に許可する必要があり、表示されたくない場合は、それらを意図的にブロックする必要があります。どちらもrobots.txtで設定可能ですが、既定の設定をそのまま適用するのではなく、意識的な判断が必要です。なぜなら、一律にブロックしてしまうと、たとえ意図していなくても、AIの検索結果における自身のサイトの表示も自動的に排除されてしまうからです。

AIの認知度向上に向けた取り組み
自社のコンテンツを保護するためのロック機能
Robots.txt の定期的な確認
新しいボットが次々と登場している

サーバーログでAIクローラーを特定する

サーバーログは、robots.txtで許可されているかブロックされているかに関わらず、実際にどのAIクローラーがページにアクセスしているかを確実に示してくれます。これらのログを定期的に確認することで、新しいボットが出現したか、あるいは既知のクローラーの訪問頻度に変化があったかが判明します。これは、AIによる可視性が高まりつつあることを示す最初の兆候となることがよくあります。この確認を行わなければ、自社のAIによる可視性に関するあらゆる評価は、結局のところ単なる推測に過ぎません。

ログ内のユーザーエージェントを特定する
時間の経過に伴う訪問頻度を観察する
特定の未知のボットを調査する
必要に応じてルールを調整する

Robots.txt での AI クローラーの設定手順（ステップバイステップ）

AIクローラーを的確に制御したい場合は、単一の包括的なルールにとどまらず、関連する各ボットごとに個別のエントリを作成すべきです。まずは現状把握を行うことが重要です。自社のサーバーログにはどのようなユーザーエージェントが記録されているのか、そしてそのうちどのボットに今後アクセスを許可すべきなのかを検討しましょう。その後に初めて、ボットごとに個別のブロックを設定して、robots.txt の実際の構成を行います。

また、公開後に実際に変更内容をテストすることも重要です。例えば、Search Consoleの検証ツールを使用したり、数日後にログを再度確認したりする方法があります。そうして初めて、ボットが新しいルールを正しく遵守しているか、また動作が期待通りに変化しているかを把握できるのです。

また、ドメイン全体に単一のルールを適用するのではなく、ディレクトリごとに細かく段階分けすることも有効です。例えば、ブログセクションは意図的に公開し、社内の顧客ポータルは一貫してアクセス制限をかける場合などが挙げられます。また、一部のAIクローラーは「crawl-delay」フィールドを無視するため、実際のアクセス頻度はrobots.txtだけでは正確に把握できず、ログを通じてのみ確実に確認することができます。

サーバーログを調べて、ボットが存在しないか確認する
ユーザーエージェントごとに独自のブロックを作成する
公開後のルールテスト
数日後に結果を確認する

AIクローラーと独自のサイトマップの連携

適切に管理されたXMLサイトマップは、従来の検索エンジンに役立つだけでなく、一部のAIクローラーが最新のコンテンツを見つけやすくするのにも役立ちます（ただし、そのボットがサイトマップを実際に参照する場合に限ります）。サイトマップの設定方法がまだ分からない方は、「Webmaster Tools Basics」の入門記事で、その技術的な基礎を学ぶことができます。さらに、ページがクロールされたとはどういうことかを理解しておくことも重要です。この基本概念は、AI特有のボットの挙動を理解する上でも役立ちます。

最新のサイトマップがない場合や、古いURLが含まれている場合、AIクローラーは、新しいコンテンツや更新されたコンテンツを迅速にインデックス化する代わりに、もはや関連性のないページにリソースを浪費してしまいます。したがって、サイトマップを定期的にメンテナンスすることは、従来の検索順位だけでなく、AIの回答における自サイトの可視性にとっても、二重のメリットをもたらします。

サイトマップ内の「最終更新日」という項目は、見過ごされがちな詳細です。このフィールドが正しく管理されていれば、ボットは前回の訪問以降に実際に変更されたページをより迅速に特定でき、すべてのURLを再度完全にチェックする必要がなくなります。特に頻繁に更新される用語集ページでは、このちょっとした技術的な管理が特に有効です。