自社の見え方を相談
AI時代のSEO

Claude Web SearchのSEO対策｜3種類のBotと引用を確認

Claude Web SearchのSEO対策を、ClaudeBot・Claude-User・Claude-SearchBotの役割とrobots.txt設定で整理。引用の確認方法、ログ検証、許可・拒否の判断を公式情報に沿って解説します。

株式会社adding LLMO編集部#llmo#seo
この記事の目次を開く

Claude Web SearchのSEO対策では、モデル学習に使われ得る内容を収集する ClaudeBot、ユーザー操作で取得する Claude-User、検索品質向上用の Claude-SearchBot を分けて制御します。検索で見つけてもらいたいなら、robots.txtだけでなくCDNやWAFまで含めて到達を確認し、Claudeの回答に表示された引用URLを記録します。ただし、Botの許可は引用や順位を保証しません。

「Anthropicの学習には使わせたくないが、ClaudeのWeb Searchからは見つけてほしい」。この方針は、三つのBotを一括で拒否すると実現できません。反対に、検索での発見を期待するあまり、用途を確認せずすべて許可する必要もありません。

2026年8月29日時点のAnthropic公式情報は、三つの役割と拒否した場合の影響を別々に説明しています。最初に公開方針を決め、次に設定どおり取得されているかをログで確かめ、最後に引用を観測します。この順序なら、モデル学習に使われ得る内容の収集方針とClaude Web Searchへの露出を混同せずに管理できます。

Claudeの3種類のBotは用途と拒否の影響が違う

Anthropicのクローラー公式説明では、公開WebへアクセスするBotが次の三つに分けられています。

Bot公式に示された用途許可を検討する場面robots.txtで拒否した場合拒否・許可から断定できないこと
ClaudeBot将来のモデル学習に使われる可能性があるWebコンテンツの収集学習に使われ得る内容の収集を自社方針で認める将来の素材を学習データセットから除外する意思表示になる許可してもWeb Searchで引用されるとは限らない
Claude-User利用者の質問を受け、ユーザー起点でページを取得URL指定や質問に応じた取得を可能にしたいユーザーの依頼に応じた取得を妨げ、検索での可視性が下がる可能性があるアクセスがあっても回答への掲載は証明しない
Claude-SearchBot検索結果の関連性と正確性を高めるための巡回・分析Claude検索向けのインデックス対象にしたい検索最適化向けのインデックスを妨げ、結果の可視性や正確性が下がる可能性がある許可は引用順位や表示回数の保証ではない

ClaudeBot の拒否と、Claude Web Search向けの取得をすべて拒否することは同じではありません。学習への利用を望まない場合は ClaudeBot の方針を決め、検索とユーザー起点取得については Claude-SearchBot と Claude-User を別に判断します。

この役割分担を決めず、「AIクローラーを許可」「AIクローラーを拒否」の二択にすると、意図しない範囲まで閉じることがあります。各社を含む基本的な設定方法はAIクローラーのrobots.txt設定で確認し、Claudeについては上の三分類を追加してください。

robots.txtは公開方針をBotごとに書く

Anthropicは、三つのBotがrobots.txtの標準的なクロール拒否指示を尊重すると説明しています。たとえば、モデル学習に使われ得る内容の収集だけを拒否する場合は、サイト最上位の /robots.txt に次の指定を置きます。

User-agent: ClaudeBot
Disallow: /

この例で拒否されるのは ClaudeBot です。Claude-User と Claude-SearchBot も止めたい場合は、それぞれのUser-agentに対する規則を明示します。逆に二つを利用可能にしたい場合は、広いワイルドカード規則で巻き込んでいないかを確認します。

設定時は三つの条件を外せません。

  • 対象のホスト名直下で /robots.txt を配信する
  • サブドメインごとに方針を設定する
  • CDN、WAF、Bot対策がrobots.txtや本文取得を別途拒否していないか確認する

Anthropicの公式説明は、拒否したいすべてのサブドメインで設定するよう案内しています。www.example.com のrobots.txtを変更しても、docs.example.com や blog.example.com に同じ規則が自動適用されるわけではありません。サブドメインでメディアを運営している場合は、公開ホストごとに実ファイルを確認します。

クロール負荷を抑えたい場合、Anthropicは非標準の Crawl-delay 拡張にも対応するとしています。ただし、遅延を大きくすれば検索露出が高まるという説明ではありません。負荷状況をログで確かめ、必要な場合だけ運用上の値を決めます。

IP遮断だけでオプトアウトを完了させない

特定IPをファイアウォールで拒否すれば、robots.txtは不要に見えます。しかしAnthropicは、IP遮断ではBotがrobots.txtを読めなくなるため、正しく、継続的なオプトアウトを保証できないと説明しています。公開方針の伝達にはrobots.txtを使い、ネットワーク制御はセキュリティや障害対応の判断と分けます。

ログ上のアクセスがAnthropic由来かを調べる場合は、公式ページから案内されているAnthropic Botの公開IP範囲と送信元IPを照合します。公開範囲は更新され得るため、IPを記事や設定へ手作業で固定せず、参照したURLと確認日時を残します。

User-Agentだけでは本人確認になりません。第三者も Claude-SearchBot と名乗れるからです。WAFで無条件に許可する前に、公式IP範囲、User-Agent、取得URL、HTTP状態を組み合わせます。具体的な検証設計はAIクローラーのログ分析も参考になります。

設定後は7段階で取得と引用を確認する

robots.txtを書き換えただけでは、意図したページが取得できたか分かりません。設定、通信、引用を次の順に検証します。

  1. 公開方針を決める: モデル学習に使われ得る内容の収集、ユーザー起点取得、検索向け巡回を個別に許可・拒否する
  2. 全ホストを列挙する: 本体、ブログ、ドキュメントなど、公開サブドメインを洗い出す
  3. robots.txtを取得する: 各ホストの実レスポンス、HTTP状態、適用されるUser-agent規則を見る
  4. 配信層を確認する: CDN、WAF、レート制限、認証が対象Botを止めていないか調べる
  5. ログで本人確認する: User-Agent候補を抽出し、公式IP範囲と照合する
  6. 取得結果を見る: 対象URL、最終URL、HTTP状態、本文が返ったかを確認する
  7. Claudeで引用を観測する: Web Searchを有効にし、固定した質問で引用元とリンクを記録する

200 が記録されても、ログイン画面や共通エラー本文を返している場合があります。ステータスだけで正常とせず、重要URLは最終URLと本文を確認します。403 ならrobots.txtだけを直す前に、WAFやCDNの拒否規則も調べます。

反対に、ログに対象Botが見つからないことも、設定ミスの即時証明にはなりません。Anthropicの公式説明には、Crawl-delay 以外にクロール頻度を指定する方法や、特定URLの巡回を要求する仕組みは案内されていません。サイトマップ、通常の内部リンク、安定した正規URLなど、検索エンジンがページを発見できる基本経路も並行して点検します。

Claude Web Searchの引用は回答画面で条件付き観測をする

Claude Web Searchの公式ヘルプによると、Web Searchは公開Webの情報を検索して回答の根拠に使い、検索を使った応答には直接の引用と参照元リンクが表示されます。URLを指定した場合には、Web fetchによってページ内容を取得することもあります。

サイト運営者が見る対象は、回答文に名前が出たかだけではありません。どの主張の根拠として、どのURLがリンクされたかです。観測記録には次を残します。

  • 質問文と検索意図
  • 確認日時、言語、地域
  • 利用したモデルとWeb Searchの有効状態
  • 回答に表示されたサイト名と引用URL
  • 意図した正規URLか、古いURLや第三者ページか
  • 回答内容に事実誤認や古い情報がないか

同じ質問でも、時刻、モデル、地域、検索結果の変化によって回答は変わり得ます。一度引用された結果を、すべての利用者への表示率や恒常的な順位として扱ってはいけません。比較するときは質問と条件をそろえ、ページ更新やrobots.txt変更の履歴と一緒に見ます。

2026年8月29日に確認したAnthropicの上記公式資料には、サイト所有者向けの引用回数・表示回数を集計する専用パフォーマンスダッシュボードや、引用順位を決める秘密の評価項目は案内されていません。独自の診断点や引用予測を、Anthropic公式の順位指標として説明するのは避けます。

引用観測は露出の手がかりであり、サイト訪問や問い合わせとは別の指標です。回答に引用があってもクリックされない場合があり、参照流入があっても同じ回答を再現できない場合があります。指標を分ける方法はLLMOの効果測定で整理しています。

許可しても引用されない場合は原因を分ける

三つのBotを許可したのに引用が見つからない。そこで同じキーワードの記事を増やす前に、確認箇所を分けます。

状態確認する証拠次の対応
robots.txtで拒否されているホストごとのrobots.txtと適用規則公開方針に合わせ、対象Botだけを修正する
robots.txtは許可だが取得に失敗するWAF・CDN・サーバーログ、HTTP状態認証、レート制限、誤検知を調べる
正常取得されるが引用を確認できない質問、回答、引用URL、ページの主題と根拠検索意図とのずれ、情報の不足、重複を見直す
引用はあるが訪問がない引用文脈、リンク先、アクセス解析引用数と流入を分け、導線やページの役割を見る

本文の改善では、対象の問いへ早く答え、更新日と根拠を示し、公式情報へ直接リンクし、会社名やサービス名の表記をそろえます。これは読者が条件を判断できるページを作るための基本です。Anthropicが公開していない順位要因を推測し、特定の語句や書式を量産する施策ではありません。

Claude Web Search対策は方針・到達・引用を分ける

Claude向けの管理で最初に決めるのは、モデル学習に使われ得る内容の収集、ユーザー起点取得、検索向け巡回をそれぞれ認めるかです。ClaudeBot、Claude-User、Claude-SearchBot は役割が違うため、robots.txtも一括指定せず、公開方針に沿って分けます。

次に、全サブドメインのrobots.txt、CDN、WAFを確認し、ログのUser-Agentと公式IP範囲を照合します。そのうえでClaude Web Searchの質問条件を固定し、回答の引用URLを観測します。許可は入口、ログは到達、引用は回答上の結果です。三つを分けて記録すれば、モデル学習に使われ得る内容の収集を拒否しながら検索取得を認める判断も、引用がない原因の切り分けも、公式情報の範囲内で進められます。

参照した公式情報

RELATED NOTES / 関連記事

AI時代のSEOAI検索を意識したサイト移転｜旧URLと引用先を確認するAI時代のSEOAI検索で言語別の情報が混ざらないよう、多言語ページを整える