AIクローラーが403になる。WAFと配信経路の調べ方
Googlebotの403をrobots.txt、CDN、WAF、オリジンに分け、公式IPまたはDNS検証とUser-Agentを組み合わせて安全に調べる手順を解説します。
この記事の目次を開く
Googlebotへのクロールをrobots.txtで許可していても403が返る場合は、robots.txtを書き換え続けず、CloudFront、AWS WAF、オリジンの記録を分けて確認します。許可ルールを検討するのは、User-AgentとGoogle公式の送信元検証を組み合わせてからです。
Google検索のAI機能と403の対象を切り分ける
Google検索のAI機能に関する公式説明では、AI OverviewsまたはAI Modeの補足リンクとして表示対象になるには、ページがGoogle検索にインデックスされ、スニペット付きで表示可能であることが必要です。追加の技術要件はない一方、SEOの基本として、robots.txtだけでなくCDNまたはホスティング基盤でもクロールを許可するよう案内されています。条件を満たしても、クロール、インデックス登録、表示は保証されません。
そのため、次の状態を別々に記録します。
- robots.txt:Googlebotに対象パスのクロールを許可しているか
- CloudFront:対象リクエストを受け、どのHTTPステータスを返したか
- AWS WAF:対象Web ACLがリクエストをどう評価したか
- オリジン:CloudFrontから転送されたリクエストをどう処理したか
robots.txtが許可でも、CDN、WAF、ホスティング基盤で拒否されれば取得は成立しません。反対に、robots.txtを許可したことは、WAFの例外を無条件に広げる理由にはなりません。robots.txtの評価方法はAIクローラー向けrobots.txtの設定で確認できます。
GooglebotはUA AND(公式IP範囲 OR DNS一致)で検証する
User-Agentは第三者も送信できるため、Googlebotという文字列だけで許可しません。Googleの公式検証手順は、Google由来のリクエストを確認する方法として、公開IP範囲との自動照合と、逆引き・正引きを使う手動確認を案内しています。Googlebotはcommon crawlerに分類され、公式IP一覧はcommon-crawlers.jsonです。
この記事で採用するGooglebotの検証条件は、括弧を含めて次のとおりです。
HTTP
User-AgentにGooglebotproduct tokenがある AND (送信元IPが取得時点のGoogle公式common crawler IP範囲に含まれる OR 送信元IPの逆引きで得たGoogle管理ホストを正引きし、元のIPアドレスへ一致する)
DNSで確認する場合は、逆引きだけで終えません。公式手順どおり、逆引きで得たホスト名がGoogle管理ドメインであることを確認し、そのホスト名を正引きして元IPへ戻ることまで確かめます。IP一覧を使う場合は記事へ範囲を転記せず、ルール変更時に公式JSONを取得し、取得日時を記録します。
さらにWAFの許可候補は、必要なHost、公開パス、HTTPメソッドに限定します。管理画面、API、認証領域、全ホスト、全パスをまとめて許可しません。
AWS WAF loggingとsampled requestsを分ける
AWS WAF loggingの公式説明では、Web ACLが分析したトラフィックについて、AWS WAFが受信した時刻、リクエストの詳細、一致したルールの詳細を記録できます。loggingは有効化が必要で、送信先はCloudWatch Logs、Amazon S3、Amazon Data Firehoseです。
一方、sampled requestsの公式説明が示すのは標本です。直近3時間について、ルール条件に一致したリクエストを最大100件、どのルールにも一致せずWeb ACLのdefault actionが適用されたリクエストを別に最大100件表示します。したがって、sampled requestsで対象が見つからないことだけを根拠に「WAFは関係ない」とは判断しません。
「WAFログに該当なし」と報告する前に、少なくとも次をそろえます。
- 発生時刻に対象distributionへ関連付けられたWeb ACL
- 発生時刻にloggingが有効だったこと
- 対象Web ACLの実際の送信先
- UTC時刻、送信元IP、
User-Agent、Host、メソッド、パスを含む検索条件 - 保存先の保持範囲に発生時刻が含まれること
- sampled requestsだけでなく、loggingの保存先を確認したこと
CloudFront standard logsも完全記録とは扱わない
CloudFront access logs(standard logs)の公式説明では、CloudFrontが受信したviewer requestについて、受信時刻、処理時間、リクエストパス、サーバーレスポンスなどを記録できます。ただし配信はbest effortで、特定のログが処理時刻より大幅に遅れて届く場合があり、まれに配信されない場合もあります。AWS自身も、全リクエストの完全な会計記録として使わないよう案内しています。
したがって、CloudFront standard logsに1行もない場合も、直ちに「CloudFrontへ到達していない」と断定しません。対象distributionでstandard loggingが有効だったか、確認した保存先と時間範囲が正しいかを併記し、未配信の可能性を残します。
同じリクエストを示す項目で突き合わせる
調査では、UTC時刻、送信元IP、HTTP User-Agent、Host、メソッド、パスとクエリ、CloudFrontのrequest IDをそろえます。
| 確認結果 | 判断できる範囲 | 次の対応 |
|---|---|---|
| robots許可、WAF loggingにblock記録あり | 記録されたWeb ACL・ルールが拒否した | 検証済みGooglebotと必要範囲だけの例外を検討する |
| robots許可、WAF loggingに対象記録なし | 確認したWeb ACL・保存先・期間では一致しなかった | CloudFrontとオリジンの記録、検索条件を再照合する |
| sampled requestsだけ対象なし | 直近3時間の標本では見つからなかった | WAF loggingの有効化状況と保存先を確認する |
| CloudFront standard logsだけ対象なし | 確認したログでは見つからなかったが、未到達までは断定できない | logging設定、保存先、時間範囲と他層の記録を確認 |
| WAF logging無効、または保持範囲外 | 発生時のWAF評価は未確認 | 「該当なし」ではなく「未確認」として扱う |
ログ項目の整理方法はAIクローラーのログ分析でも確認できます。
変更は最小範囲で試験する
例外を追加する場合も、条件は次のすべてをANDにします。
User-AgentのGooglebotproduct token- (Google公式common crawler IP範囲 OR 逆引き・正引き一致)
- 必要な
Host - 必要な公開パス
- 必要なHTTPメソッド
変更後は、対象条件で403が解消したことだけでなく、対象外のホスト、管理パス、メソッドが引き続き拒否されることも確認します。403の解消は取得経路の修正であり、Google検索へのインデックス登録やAI機能での表示を保証するものではありません。
無料URL診断と有人相談で扱う情報を分ける
無料URL診断で確認するのは、外部から取得できる公開URLの応答と公開HTML、公開robots.txt、公開sitemap.xml、公開ページのJSON-LDです。無料URL診断へ、AWS WAF・CloudFront・オリジンの非公開ログ、Web ACL設定、AWSアカウント情報を送る必要はなく、無料診断がそれらを閲覧・分析することもありません。
非公開のログや設定まで確認したい場合は、まず問い合わせ後に有人相談の範囲と共有方法を合意します。そのうえで、お客様側で認証情報、Cookie、個人情報、機密値を除いたマスキング済みのログ・設定だけを共有いただき、担当者が確認します。無料URL診断と、問い合わせ後の有人相談は別の手順です。
インフラ担当者へ依頼するときは、対象時刻、CloudFront request ID、送信元IP、検証に使った公式IP一覧のURLと取得時刻、HTTP User-Agent、Host、メソッド、パスとクエリ、robots判定、WAF loggingの有効化状況・送信先・該当ルール、CloudFront standard loggingの設定と検索範囲を渡します。ログが存在しないことと、ログを確認できないことを分けて記録してください。