AIクローラーのrobots.txt設定｜学習だけ拒否し検索は残す

AIクローラーのrobots.txt設定は「用途」で分ける

AIクローラーのrobots.txt設定は、会社ごとではなく用途ごとに決めます。同じ会社でも、学習用、検索用、利用者の操作で動く取得用で名前が分かれており、拒否したときの影響が違うからです。robots.txtは、サイトの最上位に置くクローラーへの指示ファイルです。

2026年10月23日に各社の公式文書で確かめた名前と用途は、次のとおりです。

Google-ExtendedとApplebot-Extendedは、実際にページを読みに来るクローラーではありません。GooglebotやApplebotが集めた情報を学習などに使ってよいかを、robots.txtで伝えるための名前です。

参考：OpenAI：Overview of OpenAI Crawlers

学習だけ拒否し検索は残すrobots.txtの書き方

学習だけ拒否し検索は残すには、学習用の名前だけを並べて「Disallow: /」を書き、検索用の名前は書きません。検索用のクローラーは自分の名前のグループがなければ「User-agent: *」の指定に従うため、今の設定のまま読めます。

次の表は、そのまま使える記述例です。表の1行が、robots.txtの2行分に当たります。たとえば表の1行目は、ファイルに「User-agent: GPTBot」と書き、その次の行に「Disallow: /」と書きます。グループの間には空行を1行入れると読みやすくなります。

ファイルの残りの部分には、今ある「User-agent: *」のグループと「Sitemap:」の行をそのまま残します。一部のページだけを断りたい場合は、「Disallow: /」の代わりに「Disallow: /members/」のように場所を書きます。

Google-Extendedだけは、学習に加えて、Geminiアプリなどでのグラウンディング（回答の根拠としての利用）もまとめて断る指定です。Googleは、Google-ExtendedがGoogle検索への掲載や順位に影響しないと明記しています。一方で、Geminiアプリの回答に自社の情報を使ってほしい場合は、Google-Extendedを表から外すかどうかを検討します。

参考：Google：Google の一般的なクローラー（Google-Extended）

「User-agent: *」の指定が引き継がれない落とし穴

個別の名前のグループを書くと、そのクローラーには「User-agent: *」のグループの指定が適用されなくなります。Googleのrobots.txtの解説は、1つのクローラーに有効なグループは1つだけで、個別のグループとすべてのクローラー向けのグループは結合されないと説明しています。robots.txtの標準仕様（RFC 9309）も、自分の名前のグループがないときに限って、すべてのクローラー向けのグループに従うと定めています。

以下は架空の例です。管理画面を拒否しているサイトで、OAI-SearchBotを明示的に許可しようとしてグループを足したとします。

この場合、OAI-SearchBotは「Disallow: /admin/」に従わず、/admin/も読めるようになります。検索用の名前のグループを作るなら、拒否したい場所をそのグループにも書き直します。上の例なら、2つ目のグループを「User-agent: OAI-SearchBot」と「Disallow: /admin/」の2行にします。

ほかにも、書き方の決まりがあります。

• robots.txtはサイトの最上位（例：https://www.example.com/robots.txt）に置く。サブドメインごとに必要
• User-agentの名前は大文字・小文字を区別しない。パスは区別する
• AllowとDisallowが重なるときは、パスが長い、より具体的な指定が優先される
• Googleが読むのは500KiBまで

参考：Google：Google による robots.txt の指定の解釈

利用者の操作による取得は会社ごとに扱いが違う

利用者の質問をきっかけにページを取りに来るクローラーは、robots.txtへの従い方が会社ごとに違います。OpenAIとPerplexityは、利用者の依頼による取得にはrobots.txtが適用されない場合があると説明しています。Googleも、Google-AgentやGoogle-GeminiNotebookなどの利用者の操作による取得では、通常はrobots.txtが無視されると説明しています。Anthropicは、自社のクローラーはrobots.txtを尊重すると説明しています。

検索用のクローラーを拒否した場合の扱いも、公式文書に書かれています。OpenAIは、OAI-SearchBotを拒否したサイトはChatGPTの検索回答に表示されない一方、ナビゲーション用のリンクとしては表示される場合があると説明しています。Anthropicは、Claude-SearchBotを無効にすると、検索結果での表示と精度が下がる可能性があるとしています。

参考：Anthropic：Anthropicはウェブからデータをクロールしていますか？

BingとBrave Searchには「AI専用」の名前がない

BingとBrave Searchには、robots.txtで学習用だけを止めるAI専用の名前がありません。Bingのクローラーはbingbotで、Brave Searchのクローラーは独自の名前を出さないため、robots.txtで止めると検索ごと止まります。

Bingでは、ページのmetaタグ（name="robots"のmetaタグ）に次の値を書いて、ChatやCopilotでの使われ方を調整します。nameを「bingbot」にすると、Bingだけに適用できます。

両方を書いた場合は、nocacheとして扱われます。Bingの検索結果から外したい場合は、noindexを使います。

Brave Searchの公式ヘルプは、Googlebotがクロールできないページは自社のクローラーもクロールしないと説明しています。robots.txtでGooglebotを止めると、Brave Searchにも載りにくくなります。AnthropicはBrave Searchを検索の委託先の1社に挙げているため、Googlebotの設定はClaudeの検索にも関わる可能性があります。

関連する解説：ChatGPTはBingを使う？AI5社の検索元を公式文書で確認

書いた後の確認：反映時間・IPアドレス・セキュリティ設定

robots.txtを書き換えたら、反映までの時間を見込み、サーバー側で止めていないかを確かめます。OpenAIは検索への反映に約24時間、Perplexityは最大24時間かかると案内しています。

確認の手順は3つです。

1. ブラウザで自社の「/robots.txt」を開き、書いた内容がそのまま表示されるかを見る
2. サーバーのアクセスログで、GPTBotやOAI-SearchBotなどの名前でアクセスが来ているかを見る
3. CDNやセキュリティサービスの「ボット対策」で、検索用のクローラーを遮断していないかを見る

3は見落としやすい項目です。OpenAIは、ChatGPTの検索の掲載対象になる条件として、ホストやCDNが公開IPアドレスからのアクセスを許可していることを挙げています。Anthropicは、IPアドレスで遮断するとrobots.txtを読めなくなり、拒否の指定が正しく働かない場合があるとして、robots.txtでの指定を勧めています。

Search Consoleのrobots.txtレポートで分かるのは、Googleが取得したrobots.txtとエラーです。他社のクローラーの動きは、アクセスログで見ます。

関連する解説：テクニカルSEOの点検｜検索に表示されないときの確認手順

関連する解説：llms.txtとは？AI検索への効果と、設置を勧められたときの判断

よくある質問