結論
Cloudflareで「Block」を選んでいるなら、見直しが必要です。2026年9月15日以降の「Block」は、AIの学習だけでなく、Googlebot・Bingbotの検索用の巡回まで止めます。学習だけを断りたいなら、新しい「Disallow AI Training」を選べば、検索用の巡回は続きます。設定画面・セキュリティのログ・robots.txtの3点を確認してください。
Cloudflare（クラウドフレア）は、サイトの手前で通信を管理するサービスです。そのCloudflareが2026年9月15日、AIクローラーの設定を作り直しました。
AIの学習を断るつもりで強い設定を選ぶと、GoogleやBingの検索用の巡回まで止めてしまうおそれがあります。変更点と、確認すべき3項目を整理します。
まず押さえる用語：クローラーとCloudflare
クローラーとは、サイトを読みに来るプログラムです。検索エンジンは、クローラーが集めたページをもとに検索結果を作ります。この記事では、読みに来ることを「巡回」と呼びます。
AIの会社もクローラーを動かしています。目的は、検索、AIの学習、利用者の代わりにページを読むこと（エージェント）の3つに分かれます。Cloudflareは、こうしたアクセスをサイトの手前で受け止め、通すか止めるかを決めます。本記事に出てくる主な名前は次のとおりです。
| 名前 | 本記事での位置づけ |
|---|---|
| Googlebot・Bingbot・Applebot | 検索用の巡回を行うクローラー |
| Google-Extended・Applebot-Extended | 学習を断るときにrobots.txtで使う名前 |
| OAI-SearchBot・Claude-SearchBot・PerplexityBot | AI検索の主要なクローラー |
| ChatGPT-User・Claude-User・Perplexity-User | 利用者の代わりに読みに来る用途と考えられるもの |
9月15日に何が変わったのか
Cloudflareは2026年9月15日、AI関連の設定を「Search（検索）」「Training（学習）」「Agent（エージェント）」の3つに分けました。発表したのは同社のBryan Becker氏です。主な変更は次の3つです。
学習だけを断る「Disallow AI Training」
選ぶと、Cloudflareがrobots.txt（クローラーへの指示を書くファイル）に、Google-ExtendedとApplebot-Extendedを拒否する行を書き込みます。Googlebot・Applebot・Bingbotの検索用の巡回は続きます。
ただし、Bingには学習拒否がまだ伝わりません。Microsoft側の対応は2027年初めが目標です。
「Block」は検索用の巡回まで止める
9月15日以降の「Block」は、Googlebot・Applebot・Bingbotを、検索用も含めて完全に止めます。学習を断るつもりで選ぶと、検索エンジンもサイトを読めなくなります。
| 選択肢 | 検索用の巡回 | 学習への利用 |
|---|---|---|
| Disallow AI Training | 続く | Google-Extended・Applebot-Extendedを拒否 |
| Block | 止まる | 巡回そのものが止まる |
広告のあるページは初期値が厳しい
広告のあるページでは、学習が「Disallow AI Training」、エージェントが「Block on pages with ads」（広告のあるページでブロック）という初期値になります。広告で収益を得る新しいドメインには、学習の初期値として前者が示されます。以前の遮断の選択肢を使っていたサイトには、エージェントの区分で後者が適用されます。
また、The Decoderの報道によると、複数の目的を持つクローラーは、当てはまるルールのうち最も厳しいものに従って扱われます。認証済みのボットでも、それだけでは通過が保証されなくなりました。これらの設定は無料プランでも使えます。
OpenAI・Anthropic・Meta・Amazonのクローラーの扱い
Cloudflareは今回、「Accountable」（説明責任を果たす運営者）という区分を示しました。Googlebot・Applebot・Bingbotに加え、Amazon・Anthropic・Meta・OpenAIのクローラーも対象です。これらの会社が、検索用と学習用のボットを分けて運用しているためです。Accountableの運営者には、次の4つが求められます。
- robots.txtなどで学習を断れること
- AIの要約への表示を断れること（来年からはCloudflare経由でも設定できる予定）
- 学習に使われたページをURL単位で確認でき、検索での表示状況も分かること
- 学習を断っても、通常の検索結果に影響しないと保証すること
ただし、Accountableに入ることと、各社のすべてのボットが通過することは同じではありません。個々のボットが「検索」と「エージェント」のどちらに入るかは、確認できていません。
7月1日の当初計画からの変更点
Cloudflareは2026年7月1日の時点で、学習を断るサイトに対して、Googlebot・Applebot・Bingbotのような複数目的のクローラーを丸ごとブロックする計画でした。9月15日に実際に提供されたのは、検索用の巡回を残して学習だけを断る選択肢です（PPC Landの報道）。
つまり、7月の計画にあった「検索ごと止める」動きは、いまは「Block」を選んだときに起きます。7月以降に設定を変えたサイトは、何を選んだかを確認してください。
日本のBtoB企業への影響
AI検索に出たいなら「Disallow AI Training」が基本
CyberAgent GEOラボ（サイバーエージェントのGEO支援部門）の調査（2026年9月4日公表、n=9,278）では、生成AIを検索手段に使う人が52.3%で、初めて半数を超えました。BtoBでも、イニシャル/PADDLEの調査（2026年9月28日公表、n=724、実査は6月）で、サービス選定に生成AIを参照する人が85.2%でした。
日本新聞協会は2026年4月21日、AI OverviewsやAIモードは通常の検索とクローラーの制御を共有している、と指摘しています。Googlebotを止めれば、GoogleのAI機能にも影響が及ぶと考えるのが自然です。AI検索に出たいが学習には使われたくないなら、「Disallow AI Training」が基本です。全体像はGEO対策とはで解説しています。
GoogleのAI機能への表示は、Search Consoleで別に決まる
学習を断る設定と、AI検索に出さない設定は別物です。Googleは2026年8月31日、Search Consoleの「生成AI機能」の設定を全世界に展開しました。「除外」を選ぶと、AI Overviews・AIモードなどに表示されず、リンクも張られません（通常の検索の順位には使われません）。AIに引用されたいなら、「含める」（初期値）のままか確認してください。
オウンドメディアの広告ページで、エージェントが失敗しないか
オウンドメディア（自社運営の情報サイト）の記事に広告を載せている場合、エージェントの区分が「Block on pages with ads」になりえます。利用者がChatGPTやClaudeに自社について尋ね、AIがそのページを読みに来たときに、ブロックされて読めない可能性があります。ChatGPT-User・Claude-User・Perplexity-Userがエージェントに分類されるなら起こりえますが、分類はまだ確認できていません。
AIが企業の公式ページを直接読みに行く流れについては、ChatGPTが公式サイトを直接見に行くようになったで解説しています。
電話で相談できます
読みながら「うちの場合は？」と思ったら、そのまま電話で聞いてください
たとえば、こんなことを聞いていただけます。
- ChatGPTやGeminiで自社名を聞いても出てこない。何が原因？
- SEOは外注しているが、AI検索の対策は別に頼む必要がある？
- 社内でできることと、外に頼むべきことの線引きは？
受付：平日10:00〜18:00｜担当者が直接お答えします
「記事を見た」とお伝えいただくと、お話がスムーズです。
受付時間外の方・文章で相談したい方はこちら
✓ 相談・見積もりは無料 ✓ 営業電話やしつこい勧誘はしません ✓ 情報収集の段階でも大丈夫です
robots.txtとの関係
robots.txtは、クローラーに、読んでよい範囲の希望を伝えるファイルです。一方、Cloudflareの「Block」は、サイトの手前で通信そのものを止めます。押さえる点は3つです。
1つ目に、「Disallow AI Training」はrobots.txtにGoogle-ExtendedとApplebot-Extendedの拒否を書き込みます。この2つは学習の可否を伝える名前で、検索用のGooglebotやApplebotとは別に扱われます。
2つ目に、Bingへの学習拒否は、2027年初めまでrobots.txt経由では伝わりません。
3つ目に、AIの利用条件を伝える業界標準は、まだありません。IETF（インターネットの技術標準を決める団体）のAIPREF作業部会は、2026年8月の予定に間に合っていません。当面、利用条件を伝える手段として実際に使えるのは、robots.txtと、Google-Extendedのような各社専用の名前だけです。エージェントについては、拒否の意思を伝える確立した方法がまだない、とCloudflare自身が述べています。
なお、llms.txt（AI向けにサイトの概要を書くファイル）は、robots.txtとは別物です。考え方はllms.txtの書き方と、いま設置すべきかの判断にまとめています。
まだ分かっていないこと
| 項目 | 現状 |
|---|---|
| 各AIボットの分類 | ChatGPT-User・OAI-SearchBot・Perplexity-User・PerplexityBot・Claude-SearchBotが、「検索」と「エージェント」のどちらに入るか未確認 |
| IETFの標準化 | 2つの文書の節目が2026年8月に移されたが、最終段階に進んだ記録はない。履歴の最新の記載は2026年6月26日 |
| Bing・AIの要約 | Bingへの対応は2027年初めが目標。Cloudflare経由でAIの要約を断る設定は来年の予定で、仕様は未公表 |
分類が分からない以上、「この設定なら安全」とは言い切れません。実際の設定とログを確認することが大切です。
いま確認すべき3項目
1. 設定画面で、3区分の選択を見る（特に「Block」になっていないか）
2. セキュリティのログで、主要なAI検索用クローラーが止められていないかを見る
3. robots.txtで、Cloudflareの書き込みと自社の指示が意図どおりかを見る
1. 設定画面：3つの区分と「Block」の有無
AIクローラーの設定で、Search・Training・Agentの3区分を確認します。「Block」が選ばれていないか、学習を断るなら「Disallow AI Training」になっているか、広告のあるページでエージェントが「Block on pages with ads」になっていないかを見ます。迷ったら、AI検索に出たいかどうかを先に決めます。
2. セキュリティのログ：主要なAI検索用クローラーが止められていないか
Cloudflareのセキュリティイベント（遮断などの記録）で、Googlebot・Bingbot・Applebotと、OAI-SearchBot・Claude-SearchBot・PerplexityBotが止められていないかを見ます。ChatGPT-Userなど、名前に「User」が付くものもあわせて見ます。
3. robots.txt：Cloudflareの書き込みと自社の指示
「自社ドメイン/robots.txt」を開きます。Google-ExtendedとApplebot-Extendedの拒否の行があるか、検索用のクローラーやAI検索の主要なクローラーを自社の行で止めていないかを見ます。ほかの基礎項目は、LLMO対策とは？何から始めるかのチェック項目で確認できます。
よくある質問
「Disallow AI Training」を選べば、AI検索に表示されますか
表示されるとは限りません。検索用の巡回を止めずに学習だけを断る設定で、引用されるかは内容など別の要因で決まります。GoogleのAI機能では、Search Consoleの「生成AI機能」の設定も関係します。
「Block」を選んでいると、何が起きますか
Googlebot・Applebot・Bingbotが検索用も含めて止まり、検索やAI検索への掲載に影響が出るおそれがあります。学習だけを断るなら、「Disallow AI Training」を検討してください。
Bingにも学習拒否は伝わりますか
現時点では伝わりません。Microsoft側の対応は2027年初めが目標です。
ChatGPTやClaudeのアクセスは止まりますか
設定と分類によります。各ボットが「検索」と「エージェント」のどちらに入るかは未確認のため、セキュリティのログで実際に止められていないかを見てください。
出典
- Cloudflare「Accountable mixed-use AI crawlers」（2026年9月15日）
https://blog.cloudflare.com/accountable-mixed-use-ai-crawlers/ - Search Engine Journal「Cloudflare lets sites disallow AI training without blocking Googlebot」（2026年9月15日の変更の報道）
https://www.searchenginejournal.com/cloudflare-lets-sites-disallow-ai-training-without-blocking-googlebot/589559/ - PPC Land「Cloudflare drops planned Googlebot block for sites refusing AI training」（2026年9月15日の変更の報道）
https://ppc.land/cloudflare-drops-planned-googlebot-block-for-sites-refusing-ai-training/ - The Decoder「Cloudflare replaces its blanket AI bot block with granular controls for search, training and agent crawlers」（2026年9月15日の変更の報道）
https://the-decoder.com/cloudflare-replaces-its-blanket-ai-bot-block-with-granular-controls-for-search-training-and-agent-crawlers/ - IETF Datatracker「aipref 作業部会の履歴」（最新の記載は2026年6月26日）
https://datatracker.ietf.org/wg/aipref/history/ - Google「Search Console ヘルプ：生成AI機能の設定」（2026年8月31日に全世界へ展開）
https://support.google.com/webmasters/answer/16908024?hl=en - Impress Watch「日本新聞協会の指摘についての記事」（指摘は2026年4月21日）
https://www.watch.impress.co.jp/docs/news/2103244.html - CyberAgent「生成AIのユーザー利用実態調査（2026年8月期）」（2026年9月4日）
https://www.cyberagent.co.jp/news/detail/id=33787 - イニシャル/PADDLE「BtoB Buying Trends 2026」（Web担当者Forum、2026年9月28日）
https://webtan.impress.co.jp/n/2026/09/28/53320
※本記事は2026年10月6日時点の公開情報にもとづいています。各AIボットの分類、Bingへの学習拒否の伝達時期（2027年初めが目標）、IETFでの標準化は未確定で、Cloudflareの選択肢や初期値は今後変わる可能性があります。
あわせて読みたい
無料ダウンロード｜2026年8月改訂版
GEO対策セルフチェックリスト
30項目
全11ページ／PDF・所要時間の目安10分
▸ 価格・仕様・更新日の記載など、効果量の大きい順に並べた30項目
▸ AIクローラーの到達確認とJavaScript依存のチェック（PHASE 00）
▸ 調査規模と公表日を明記した出典一覧14件つき
フォームにご入力後、その場でダウンロードが始まります。
株式会社仁頼 代表取締役。横浜市在住。 2018年からデジタルマーケティング業界に携わり、Google広告・SEO・コンテンツマーケティングを中心に8年以上の実務経験を持つ。これまでに制作した記事は9,000本以上、70名を超える専門ライターとのチーム体制で、幅広い業界のWebマーケティングを支援してきた。 2022年9月に株式会社仁頼を設立。「受けた御恩を忘れず、信頼を得られるよう迅速かつ最適な対応をする」という信念のもと、SEO・広告運用・サイト制作などのマーケティング支援を行っている。 近年は、ChatGPTやPerplexityなどのAI検索でサイトが引用される「GEO（生成エンジン最適化）」の分野にいち早く注力。自社サービス「GEO Hack」を通じて、AI時代の新しい集客手法を企業に提供している。 「難しいことをわかりやすく、小さな会社にも大きな成果を」をモットーに、日々クライアントと伴走中。
