robots.txtテスター：URLのクロール許可判定と構文バリデーション

robots.txtテスターを使う際、クローラーがどのようにルールを選択するか理解することが重要です。クローラーはまず自分専用のUser-agentグループを探します。例えばGooglebot-Imageは、まずGooglebot-Imageのグループを探し、なければ親トークンであるGooglebotのグループを参照します。それでも見つからない場合は、ワイルドカードである*のグループにフォールバックします。重要な点は、特定のクローラー向けグループが存在する場合、そのグループが*のルールを完全に上書きするということです。*のルールと特定クローラーのルールが合算されるわけではありません。robots.txtテスターでは、この優先順位に基づいて正確な判定結果を出力します。これにより、意図しないアクセス許可やブロックを防ぐことができます。

robots.txtのルール評価において、最も重要な原則が最長一致です。複数のAllowやDisallowディレクティブが同じURLにマッチする場合、パターンが最も長いルールが採用されます。例えば、Disallow: /images/とAllow: /images/public/が存在し、/images/public/photo.jpgを評価する場合、文字数の長いAllowルールが優先されます。もしAllowとDisallowのパターン長が完全に同じ場合は、Allowが優先される仕様です。また、Disallow:のようにパスが空の場合はすべてを許可することを意味し、該当するルールが全くない場合も許可されます。robots.txtテスターは、ワイルドカードの*や終端アンカーの$を含むパターンも正しく解析し、どのルールが勝ったのかを明示します。

近年、GPTBotやClaudeBotといったAIクローラーのアクセス管理が重要になっています。robots.txtテスターでは、これらのAIクローラーを指定して、特定のURLがブロックされるかどうかを事前に確認できます。また、AIクローラー向けに導入されたContent-Signalディレクティブの値も出力します。Content-Signalは、そのコンテンツが検索、AIの入力、AIの学習のいずれに利用可能かを機械可読な形式で示すものです。ただし、このツールはContent-Signalの値を報告するだけであり、技術的なブロックを行うわけではありません。AIクローラー向けのルールを最初から作成する場合は、AIクローラー用robots.txtジェネレーターを活用し、生成したルールをrobots.txtテスターで検証するのが効率的です。AIシステム向けのルートファイルであるllms.txtジェネレーターも併用すると効果的です。

robots.txtの記述には、意図しない結果を招く典型的な間違いがいくつかあります。robots.txtテスターは、こうした構文エラーや非標準のディレクティブをパーサー警告として検出します。よくある間違いは、User-agentディレクティブより前にAllowやDisallowを記述してしまうことです。また、パスの先頭にスラッシュ/がない場合や、大文字と小文字を区別するパスの扱いにも注意が必要です。Crawl-delayはRFC 9309に含まれておらず、Googleは無視します。同様に、HostやClean-paramは特定の検索エンジン独自の拡張機能です。さらに、robots.txtにNoindexを記述してもインデックス制御はできません。robots.txtはクロール制御のみを行い、ブロックされたURLでも外部リンクを通じてインデックスに登録される可能性がある点に留意してください。

robots.txtテスターは非常に強力なシミュレーションツールですが、その対象範囲には明確な限界があります。このツールはライブのrobots.txtファイルをサーバーから取得しません。ユーザーがテキストエリアに貼り付けた内容のみを解析します。そのため、公開前のドラフト段階や、ローカル環境のファイルを安全にテストできます。すべての処理はブラウザ内で完結するため、機密情報が外部に送信されることはありません。一方で、実際のインデックス登録状況を確認したり、URLのパーセントエンコーディングの正規化を行ったりする機能は備えていません。あくまで仕様準拠のシミュレーターとして活用してください。ボットの認証について詳しく知りたい場合は、Web Bot Auth Key Generatorを参照してください。