ChatGPTやGemini、Claudeなどの普及に伴い、Web担当者には、自社サイト上の情報について、AIクローラーによる取得をどこまで許容するかの判断が、必要になりました。この際最初に話題となるトピックスはrobots.txtでしょう。robots.txtでどのクローラーによる取得を許可し、どのクローラーによる取得を拒否するかです。
結論からお伝えすると、robots.txtは、サイト運営者がAIクローラーに対する取得方針を示す際に役立ちます。特に、robots.txtを尊重するクローラーに対して、取得を許可するURLと拒否するURLを伝えたい場合に効果を発揮します。
ただし、サイト管理者は、robots.txtを設置しただけでは、クローラーからのアクセスを強制的に遮断できるわけではない点に留意が必要です。また、AI学習に関する権利処理はまた別の問題です。
Web担当者は、robots.txtの設定を始める前に、検索参照、モデル学習、ユーザー操作による取得などを区別し、自社がどの用途を許容するかを決める必要があります。
自社サイトのrobots.txtに記載されているAIクローラー向けの指定を先に確認したい方は、AIクローラー（BOT）アクセス診断・チェッカーをお使いください。
画面には、公開中のrobots.txtと各社の公開仕様に基づく判定結果が表示されます。ただし、その結果だけでは、クローラーが実際にルールを守ったか、取得された情報がAI回答やモデル学習に使われたかまでは確認できません。
AIクローラー対策におけるrobots.txtの効果と限界を押さえましょう
robots.txtは、AIクローラー専用の仕組みではありません。Webサイト運営者が、クローラーに対して、取得を許可するURLと拒否するURLを伝えるために使用する仕組みです。
2022年に公開されたRFC 9309では、Robots Exclusion Protocolの構文と、クローラーがルールを読み取る方法が標準化されました。また、同RFCには、robots.txtはアクセス認可の仕組みではないと明記されています。
サイト管理者がrobots.txtにDisallowを書いたとしても、その指定だけでは、サーバーへのクローラーのアクセスを技術的に拒否できません。ルールを尊重しないBOTは、Disallowで指定したページへアクセスし、内容を取得する可能性があります。
robots.txtの内容は誰でも閲覧できます。サイト管理者が機密URLを記載すると、そのパスの存在を外部へ知らせる結果になりかねません。
会員限定ページ、顧客情報、社内資料、未公開情報は、認証とアクセス制御で保護してください。サーバーに過大な負荷をかけるBOTや、robots.txtの指定を守らないBOTに対しては、レート制限、WAF、BOT管理などの導入を検討してください。
クロール、検索表示、AI回答への引用は別です
robots.txtでサイト運営者ができることは、主にクローラーによるURL取得の可否です。クローラーによる取得を許可したからといって、その情報が検索結果に表示されたり、AI回答の根拠として採用されたりするとは限りません。（robots.txtには他にも役割はありますが）
検索の文脈においては、robots.txtは主にクロールトラフィックの管理に使用するものだと、Googleも公式資料で説明しています。
- サイト管理者がページを検索結果から確実に除外したい場合や、情報を非公開にしたい場合は、目的に応じて別の手段を選ぶ必要があります。
- AIクローラーによるページの取得を許可しても、AIサービスがそのページを回答の根拠として採用・引用するとは限りません。
- クローラーによる取得を拒否しても、過去に取得された情報や、別の経路から得られた情報まで削除されるわけではありません。ユーザーの操作に応じた取得も、一律に止まるとは限りません。
「AIクローラーを許可するか」と一括りにせず、取得目的を分けましょう
すべてのAIクローラーを一括して許可・拒否すると、検索で自社を見つけてもらう機会など、自社が維持したい顧客接点まで失う可能性があります。
同じ事業者が、検索、モデル学習、ユーザー操作に応じた取得に対して、異なるクローラー名やルールを設けている場合があります。ただし、用途の分け方は事業者ごとに異なる点はおさえておいてください。
検索、学習、ユーザー操作による取得を分ける
2026年8月26日時点の各社公式資料を確認すると、用途の区分は次のようになっています。
| 事業者 | 名称・トークンの例 | 各社が説明している用途 | 判断するときの確認事項 |
|---|---|---|---|
| OpenAI | OAI-SearchBot | ChatGPTの検索結果にサイトを表示するための取得 | ChatGPTの検索結果に表示される機会を残すか判断する |
| OpenAI | GPTBot | OpenAIが生成AIモデルの学習に使用する可能性のある取得 | 検索目的の取得とは分けて判断する |
| OpenAI | ChatGPT-User | ChatGPTのユーザーが指示した際の取得 | robots.txtによる制御の対象外となる場合がある |
| Google-Extended | Geminiの将来のモデル学習と一部機能のグラウンディング | Google検索への掲載や順位を制御する指定ではない | |
| Anthropic | ClaudeBot | Anthropicがモデル学習に使用するための取得 | Claude-SearchBot、Claude-Userとは分けて判断する |
| Anthropic | Claude-SearchBot | Claudeの検索結果の品質を高めるための取得 | Claude経由で自社を見つけてもらう機会も考慮する |
| Anthropic | Claude-User | Claudeのユーザーが指示した際の取得 | 学習用クローラーとは分けて判断する |
実際に設定するときは、各クローラーの用途とrobots.txtの扱いに関する最新情報を、各事業者の公式資料で確認してください。
クローラーの名称や用途、robots.txtの適用ルールは変わる可能性があります。設定を変更するときは、二次資料のBOT一覧をそのまま転記せず、各事業者の公式資料を読み直してください。
一般検索とSEO調査のクローラーも目的別に考える
AIと名の付くクローラーだけを対象にして考えるのではなく、従来のクローラーも重要です。Googlebotなどの一般検索クローラー、SEO調査ツール、アーカイブ、監視サービスなどもサイトへアクセスします。
サイト運営者にとって、検索クローラーからのアクセスには、重要なページを検索利用者に見つけてもらうという利益があります。一方、負荷の高いURLや重複URLへ過度にアクセスされると、サーバー負荷が増え、不要なクロールによってサーバー資源が消費されます。
許可・拒否を判断するときは、「誰が、何の目的で、どのURLを取得するのか」「その取得が自社にどのような利益と懸念をもたらすのか」を確認しましょう。この観点で判断すれば、「AIならすべて拒否」「検索ならすべて許可」といった大まかすぎる設定を避けられます。
設定を書く前に、公開による利益と守る対象を決めましょう
BOT名を見ただけでrobots.txtの設定を決めるのではなく、ページの性質と公開目的を先に確認しましょう。
| ページの性質 | 見つけてもらう利益 | 主な懸念 | 判断の目安 |
|---|---|---|---|
| サービス、店舗、会社情報、FAQ | 検索利用者やAI検索の利用者に、自社を候補として見つけてもらえる | 誤った要約、サイトへの直接流入の減少 | 検索目的の取得を許可する利益を重視し、掲載内容の正確さと更新頻度を確認する |
| 独自ノウハウ、比較・選び方 | 自社の判断基準を広く伝えられる | モデル学習での利用、AIによる代替回答、競合による再利用 | 検索目的の取得と学習目的の取得を分け、情報を届ける利益と、AI回答が自社ページの説明を代替することによる不利益を比べる |
| 第三者から許諾された写真、記事、データ | 許諾された範囲で、コンテンツを検索利用者に見つけてもらえる | 許諾範囲を超えた再利用、契約違反 | 権利条件を先に確認し、robots.txtの設定だけで権利処理を済ませない |
| 会員限定、顧客情報、社内資料、未公開情報 | 原則としてなし | 機密性、個人情報、契約 | 認証とアクセス制御で守る |
| 内部検索、重複URL、負荷の高い生成URL | 検索利用者に見つけてもらう利益が小さい | サーバー負荷、不要なクロール | 一般検索クローラーも含めてアクセス範囲を見直す |
AI検索で自社を見つけてもらう利益は、流入数だけではありません
AI検索の影響を検討するときは、サイトへのアクセス数が減る可能性だけで判断しないようにしましょう。
従来の検索では、利用者が企業のページを読み、サービスの選び方や比較の基準を学ぶ機会がありました。AIサービスが利用者に代わって情報を要約する場合、企業はサイトへの流入だけでなく、自社の判断基準を直接伝える機会も失う可能性があります。
AI検索の影響は、アクセス数だけでは測れません。見込み客へ判断基準を伝える機会の変化まで見る必要があるという点を、当社はPodcast「AI検索が奪っているのは「アクセス数」だけではない、見込み客育成の変化・デメリットとは？」で取り上げました。
そのため、検索参照用クローラーを拒否するか決めるときは、アクセス数への影響だけでなく、自社の情報や判断基準を見込み客へ直接届ける機会を失う可能性も考慮しましょう。
公開するページには、AIが代替しにくい情報を載せる
AIクローラーによる取得を拒否するだけでは、自社サイトの価値は高まりません。公開を続けるページには、一般情報を再編集しただけでは代替できない、自社固有の情報を加えましょう。
例えば、次のような情報です。
- 顧客が実際に迷った点
- 現場で結論が分かれた条件
- 失敗した方法と、失敗後に変更した点
- 一般論だけでは伝わらない背景や担当者の思い
- 自社が対応しない条件と、その理由
AIが情報を取得する時代には、文字面だけでは分からない背景や気持ちが重要になるという考えを、当社は2023年の記事「AIスクレイピング時代、コタツ記事は無価値に・気持ちの時代の復権」で示しました。
robots.txtでクローラーに取得させるURLを決めるだけでなく、公開する各ページに「自社にしか言えないこと」を載せられるかも検討しましょう。
現在の設定を確認し、方針を決め、設定後のアクセスを観測しましょう
AIクローラー向けにrobots.txtを設定する際は、拒否したいBOT名を書くだけで終わらせないようにしましょう。サイト管理者は、現在の設定を確認し、取得目的ごとの方針を決め、必要な指定を記載します。設定後は、クローラーのアクセス状況も観測します。
1. 現在のrobots.txtを確認する
最初に、対象ホストのルートにあるrobots.txtを開きます。https://example.com/robots.txtのようなURLで公開されているか、どのHTTPステータスが返されるか、既存グループに意図しない指定が含まれていないかを確認してください。
サブドメインは別のホストとして扱われます。www.example.comとshop.example.comで別のサイトを運用している場合は、それぞれのホストでrobots.txtを確認してください。
2. 取得目的ごとの方針を決める
次に、検索参照、モデル学習、ユーザー操作による取得などを区別し、自社が許容する用途と拒否する用途を決めます。
サイト全体に一つの方針を適用する必要はありません。サービスページと会員限定ページ、自社が著作権を持つ記事と第三者から許諾された素材では、判断の前提が異なります。ページの性質に応じて方針を分けましょう。
3. 最小限の設定を書く
例えば、自社がOpenAIの検索参照用クローラーを許可し、モデル学習用クローラーを拒否する方針を選んだ場合は、次のように指定できます。
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /この例では、「AIは検索も学習もすべて許可」「AIはすべて拒否」と一括指定せず、取得目的ごとに許可・拒否を分けています。すべての企業に共通する推奨設定ではありません。
BOT名やrobots.txtの適用ルールは変わる可能性があります。設定を変更する前に、対象事業者の公式資料を読み直してください。既存のrobots.txtをそのまま上書きせず、現在のグループとの競合も確認しましょう。
4. 設定後の挙動を確認する
構文チェッカーに意図どおりの結果が表示されても、その結果だけでは、実際のクローラーがルールに従ったかは分かりません。設定後は、サーバーまたはCDNのログで次の項目を確認します。
- クローラーがrobots.txtを取得した時刻
- リクエストに含まれるUser-Agent
- リクエストの送信元
- クローラーが取得したURL
- 設定変更前後のアクセス件数
リクエストの送信者は、User-Agentに任意の文字列を設定できます。そのため、User-Agentの文字列だけでは、アクセス元を正規のBOTと判断できません。事業者が送信元の確認方法やIP情報を公開している場合は、その手順に従って送信元を確認してください。
また、クローラーが変更後のrobots.txtを再取得するまでに、時間がかかる場合があります。変更直後の一回の観測だけで結論を出さず、一定期間のログを比較しましょう。
「仕様上の拒否」と「ログ上でアクセスが止まったこと」を分けましょう
AIクローラー対策を検討するときは、標準仕様、事業者の公開説明、クローラーによる実際の遵守、AI回答や問い合わせへの影響を混同しないことが重要です。証拠を次の四つに分けて確認すると、どの事実を確認したのかが明確になります。
| 証拠の種類 | その証拠から判断できること | その証拠だけでは判断できないこと |
|---|---|---|
| RFC 9309 | 標準上の構文と適用方法、robots.txtがアクセス認可の仕組みではないこと | 個別事業者のクローラーが実際にルールを守ったか、学習利用にどのような法的効果があるか |
| 事業者の公式資料 | 事業者が現在説明しているBOTの用途と方針 | すべてのリクエストが説明どおりに行われたか |
| 独立研究と自社ログ | 特定の方法、期間、対象で観測された遵守傾向やリクエスト | BOTが取得した情報を最終的にどの用途に使用したか、AI回答に引用したか |
| AI回答、検索表示、問い合わせ | 特定時点の表示内容や問い合わせの発生 | その結果がrobots.txtだけによって生じたという因果関係 |
Taein Kimほかは、2025年のACM Internet Measurement Conferenceで発表した研究で、匿名化された組織のログを40日間観測し、130の自己申告BOTを分析しました。
同研究では、厳しいrobots.txtルールほど遵守されにくく、一部カテゴリのBOTはrobots.txtをほとんど確認しなかったと報告されています。
ただし、この研究結果だけを根拠に、「すべてのAIクローラーがrobots.txtを無視する」と判断することはできません。結果は、調査対象、観測期間、BOTの識別方法に左右されます。自社サイトの状況を把握するには、自社のサーバーまたはCDNのログを別に確認する必要があります。
2026年5月に発行されたRFC 9969では、AIによるクロール時と推論時の利用、複数用途の区別、監査や実行の難しさが扱われています。
この文書は標準仕様ではなく、2024年のワークショップをまとめたInformational RFCです。参加者の見解を、完成した共通ルールとして扱わないようにしましょう。
AIクローラーチェッカーで、まず現在の設定を確認しましょう
AIクローラーの名称と用途は事業者ごとに異なり、今後変更される可能性もあります。そのため、Web担当者がrobots.txtの文字列を読むだけで、各指定が検索、学習、ユーザー操作による取得のどれに当たるかを判断するのは容易ではありません。
こうした分かりにくさを減らすために、当社はAIクローラー（BOT）アクセス診断・チェッカーを作りました。クローラーを検索、学習、ユーザー操作といった取得目的ごとに分類し、Web担当者が現在の設定と公開方針のずれを確認しやすくするためです。
チェッカーにサイトのURLを入力すると、公開中のrobots.txtが取得され、各社が公開している用途区分に照らした判定結果が表示されます。
Web担当者は、この判定結果から、robots.txtにどのような指定があり、各社の公開仕様上でどの用途が許可・拒否されているかを確認できます。ただし、次の点までは確認できません。
- クローラーが実際にrobots.txtを守ったか
- 取得された情報がモデル学習に使われたか
- 自社サイトがAI回答の根拠として採用されたか
- 設定変更がアクセス数や問い合わせにどのような影響を与えたか
チェッカーの判定結果は、「現在の設定が自社の公開方針と一致しているか」を確かめるために使います。判定後は、各社の最新資料を読み、自社ログも調べた上で、必要に応じて公開方針を見直しましょう。
AIクローラー対応では、設定ミスだけでなく判断ミスも避けましょう
名称に「AI」を含むBOTを一括で拒否する
名称に「AI」を含むBOTを一括して拒否すると、検索参照、ユーザー操作による取得、モデル学習まで一緒に拒否してしまう可能性があります。設定を変更する前に、各トークンの用途を確認しましょう。
許可すればAI回答に引用されると考える
クローラーによるページの取得を許可しても、AIサービスがそのページを回答の根拠として採用するとは限りません。回答への採用には、情報の関連性、品質、更新状況、他の情報源、AIサービス側の選定基準などが影響します。
拒否すれば取得されないと考える
robots.txtはアクセス認可の仕組みではありません。ルールを守らないBOTや、正規のクローラーと同じUser-Agentを名乗るBOTも存在します。サイト管理者がrobots.txtでアクセスを拒否しても、こうしたBOTは情報を取得する可能性があります。また、過去に取得された情報は、設定を変更しただけでは削除されません。
機密URLをrobots.txtに書く
robots.txtは公開ファイルです。機密URLをrobots.txtに記載すると、誰でもそのパスを確認できる状態になります。サイト管理者は、外部へ知らせたくないURLをrobots.txtに記載せず、認証とアクセス制御で保護してください。
BOT一覧を1回作って終える
事業者のBOT名、用途、robots.txtの扱いは変わる可能性があります。公式資料を確認した日、根拠にした公式URL、次回の見直し日を記録しましょう。
robots.txtの設定を「公開方針」として管理しましょう
AIクローラー対策において、robots.txtは、ルールを尊重するクローラーに取得方針を伝える際に役立ちます。一方、クローラーからのアクセスを強制的に遮断する場合や、機密情報を保護する場合には、別の手段が必要です。AI学習に関する権利処理と、AIサービスがページを回答に引用するかどうかも、robots.txtの設定とは分けて考えましょう。
Web担当者は、次の順序で公開方針を決めてください。
- 公開するページと、各ページの権利条件を確認する
- 検索参照、モデル学習、ユーザー操作による取得を分ける
- 各社の公式資料を確認日付きで記録する
- 目的に応じて、robots.txt、認証、アクセス制御、WAFを使い分ける
- 構文だけでなく、ログ、アクセス数、問い合わせの変化を確認する
robots.txtの運用は、一度設定して終わりではありません。事業者の仕様、自社の公開内容、見つけてもらう利益、守る対象のいずれかが変化したときは、担当者が設定を見直しましょう。
自社の公開方針を決めた後は、AIクローラー（BOT）アクセス診断・チェッカーで、robots.txtの現在の指定内容が方針と一致しているかを再確認してください。
ただし、チェッカーの判定結果だけでは、クローラーが実際にルールを守ったかまでは分かりません。各社の現行仕様と、サーバーまたはCDNのログも確認してください。
