robots.txtでAI学習を断るには？ 共通ルール案と検索・AI回答への影響
公開日：更新日：
会社の施工事例はGoogle検索で見つけてもらいたい。けれど、公開した文章や写真が生成AIの学習に使われるかどうかは、自社で方針を決めたい。そんなときに確認したいのが、サイトの robots.txt です。
2026年10月30日、Google、OpenAI、Microsoftは、AI学習への利用を断る意思を robots.txt で伝える共通の書き方への対応方針を発表しました。仕様は提案段階で、各社の対応時期や、AI回答でページを参照する際の扱いは異なります。まずは現在の設定を控え、検索への掲載、AI回答での参照、AI学習への利用をそれぞれどうしたいか整理しましょう。 Googleの発表（外部サイト）・OpenAIの発表（外部サイト）・Microsoftの発表（外部サイト）
robots.txtの共通ルール案で何が変わる？
robots.txt は、ウェブサイトの入口に置くテキストファイルです。たとえば https://example.com/robots.txt を開くと、そのサイトが、ページを巡回するプログラム（クローラー）にどのページを読んでよいと伝えているかを確認できます。
今回の提案では、クローラー向けのルールと同じファイルに、対応するAI事業者へ「このページを生成AIモデルの学習に使わないでほしい」と伝える記述を置けます。各社で共通の書き方を使うことで、同じ希望を伝える手間を減らす狙いがあります。事業者独自の設定は引き続き確認が必要です。 IETFに提出された仕様案（外部サイト）・Googleの発表（外部サイト）・OpenAIの発表（外部サイト）
提案中の記述例です。ファイル内でこの組を設けて / を指定すると、仕様案ではサイト全体について学習への利用を断る希望を表します。意味を持つのは各社が対応し、記述を読み取ってからです。現行の設定を確認する際は、下の例を追加せずに進められます。 IETFに提出された仕様案（外部サイト）
User-Agent: __usage_ai-training
Disallow: /
__usage_ai-training は、学習への希望を示す識別子です。導入する場合はこの2行を独立した組にし、Googlebot など既存のクローラーの組に混ぜないようにします。同じ組に Disallow: / が入ると、そのクローラーの取得まで止まり得ます。クローラー向けの User-agent: * も、共通ルール案の学習への意思表示には使われません。 IETFに提出された仕様案（外部サイト）・RFC 9309の記述ルール（外部サイト）
検索に出すこと、AI回答に使うこと、学習に使うこと
たとえば施工事例を掲載する場合、「検索結果に出す」は、地域の施工会社を探す人が事例ページを見つけられるようにすることです。「AI回答で参照する」は、AIが工事について答えるときに、その事例を情報源として使うことです。「AI学習に使う」は、将来のモデルを訓練するためのデータにその文章や写真を使うことです。AI回答でウェブページを参照する仕組みは、公式資料で「グラウンディング」と呼ばれます。 Microsoftの発表（外部サイト）・Googleのクローラー仕様（外部サイト）
公開した施工事例のページ
- 検索への掲載
検索結果にページやリンクを表示する - AI回答での参照
回答を作るときの情報源として使う - AI学習への利用
生成AIモデルの学習用データとして使う
用途を整理した概念図です。設定の範囲はサービスごとに異なり、1つの設定が複数の用途に関わる場合があります。
たとえばGoogleの Google-Extended は、対象となるGeminiの学習と回答での参照に関わります。用途を整理したうえで、下の表で確認する設定を探してみてください。 Googleのクローラー仕様（外部サイト）
| 確認したいこと | 主に見る設定 |
|---|---|
| クローラーがページを取得できるか | robots.txt のクローラー向けルール |
| 検索結果にページを掲載できるか | ページ側の noindex など、検索エンジンの掲載条件 |
| AI回答を作るときにページを参照できるか | Google検索ならSearch Consoleの「検索の生成AI」、Gemini Appsなら Google-Extended など、サービス別の設定 |
| ページを生成AIの学習に使えるか | Google-Extended や GPTBot などの現行設定と、対応後の共通ルール |
たとえばGoogleでは、ページを検索結果から除外する noindex を認識するために、Googlebotがそのページを読める必要があります。検索に残したいページなら、変更前にクローラーの取得可否とページ側の設定を別々に確認します。 Googleのnoindexガイド（外部サイト）
Google・OpenAI・Microsoftはどう対応する？
Googleは2027年初めの対応を予定
現在の Google-Extended では、将来のGeminiモデルの学習と、Gemini Appsや対象のVertex AI機能で回答を作る際の参照を管理します。Google-Extended の指定によって、Google検索への掲載や順位が変わることはありません。Google検索の「AIによる概要」や「AIモード」などへの掲載方針は、Search Consoleの「設定」から「検索の生成AI」を開いて確認できます。このSearch Consoleの設定は、検索の生成AI機能での掲載や回答での参照に適用され、モデルの学習には影響しません。 Googleのクローラー仕様（外部サイト）・Search Consoleの検索の生成AI設定（外部サイト）
Googleは新ルールへの対応後、共通の書き方で学習を断り、Google-Extended を明示していない場合、Google-Extended で拒否した場合と同様に扱う方針です。この条件では、学習への希望を示した設定がGemini Appsなどの回答での参照にも及びます。逆に Google-Extended を明示的に許可する場合は、Gemini Appsの回答で参照される可能性とともに、対象モデルの学習への利用も許可することになります。 Googleの発表（外部サイト）・Googleのクローラー仕様（外部サイト）
OpenAIは今後数か月での対応を目指す
OpenAIは10月30日の発表で、生成AIの基盤モデルの学習に関して、今後数か月で共通ルールを実装する方針を示しました。現在は、学習に関わる GPTBot と、ChatGPTの検索結果に関わる OAI-SearchBot を別々に指定できます。OpenAIは、共通ルール導入後も既存の指定を尊重すると説明しています。 OpenAIの発表（外部サイト）・OpenAIのクローラー仕様（外部サイト）
Microsoftは2027年2月1日から順次反映予定
Microsoftは、2027年2月1日からページを巡回する際に新しい指定を読み取り、順次反映すると案内しています。AI学習は robots.txt またはページ単位で指定でき、ページ単位の指定が優先されます。AI回答での参照はページ単位で別に指定します。いずれの用途設定も、通常のBing検索への掲載資格を変えるものではありません。 Microsoftの発表（外部サイト）
Bing向けに NoArchive や NoCache を使っているサイトは、学習と回答参照の両方の移行を確認してください。Microsoftは、新しい指定のどちらかを検出すると、従来の指定を参照しなくなると案内しています。
制限を維持する場合は、2027年3月1日までに移行します。回答参照の制限を引き継ぐには、ページごとに新しい指定を公開し、Bing Webmaster Toolsでも一時設定を登録します。この一時設定は、2026年12月15日時点で従来の指定を使っているサイトが対象です。 Microsoftの移行案内（外部サイト）
自社のrobots.txtを変更する前に確認すること
1. 公開中の設定を控える
会社サイトのURLを開き、ホスト名の直後を /robots.txt に置き換えます。たとえば https://www.example.com/works/ なら、見るのは https://www.example.com/robots.txt です。店舗サイトや採用サイト、画像・PDFの配信先が別のホスト名なら、それぞれのファイルを確認します。エラーやサイトの画面が表示された場合は、URLと画面を控えて管理担当に確認します。 Googleのrobots.txt仕様（外部サイト）
テキストが表示されたら、変更前の内容を保存します。User-agent はどのクローラーや用途に向けた記述かを表します。* は他に該当する指定がないクローラー向けです。User-agent: * の組に Disallow: / を追加すると、検索用のクローラーも対象になり得ます。該当する記述とその下の行をまとめて管理担当に渡してください。 Googleのrobots.txt仕様（外部サイト）
2. 残したい掲載先と対象ページを伝える
たとえば「施工事例は通常のGoogle検索に残す。AI回答での紹介はサービスごとに判断する。生成AIモデルの学習には使われたくない」と伝えると、管理担当が影響を調べやすくなります。サイト全体か、事例・コラムなど一部のページだけかも決めます。対象のURL、残したい掲載先、学習への希望を一緒に渡しましょう。
3. 変更する場合は、配信された設定と代表ページを確かめる
変更時期は、各社の対応開始日と移行案内に沿って判断します。変更した場合は、公開URLの robots.txt を開き、意図した組だけが変わっているかを確認してください。
検索に残したいトップページや施工事例は、Google Search ConsoleのURL検査で、検索用の登録状況と公開ページの取得可否を確認できます。共通ルールや Google-Extended が適用されたかどうかはURL検査では確認できないため、各社の案内や確認手段で別に点検します。 Search ConsoleのURL検査ヘルプ（外部サイト）・Googleのクローラー仕様（外部サイト）
よくある質問
気になるポイントをまとめました。
共通ルールを追記すれば、すぐにすべてのAI学習を断れますか？
共通ルールは、対応した事業者へ学習への利用を断る希望を伝える提案です。各社の対応が始まるまでは、その事業者の現行設定を確認してください。仕様案では、事業者がページの内容を取得した時点の設定を参照します。学習済みのモデルからデータを取り除く手続きは定められていません。 IETFに提出された仕様案（外部サイト）
GoogleのAI学習を断ると、Google検索に出なくなりますか？
Google-Extended の指定は、Google検索への掲載や順位に影響しません。検索への掲載を続けたいページでは、Googlebotの取得制限やページの noindex など、検索に関わる設定を別に確認してください。 Googleのクローラー仕様（外部サイト）・Googleのnoindexガイド（外部サイト）
AI学習を断っても、AI回答で紹介される可能性を残せますか？
サービスごとに設定が異なります。Microsoftは学習と回答での参照を別々に指定できます。OpenAIも学習に関わる GPTBot と検索結果に関わる OAI-SearchBot を別々に指定できます。Googleでは、共通ルールで学習を断り、Google-Extended を明示しない場合、対応開始後はGemini Appsなどの回答での参照にも制限が及ぶ方針です。 Microsoftの発表（外部サイト）・OpenAIのクローラー仕様（外部サイト）・Googleの発表（外部サイト）
社外秘の資料もrobots.txtで守れますか？
社外秘の資料にはログインやアクセス権限を設定し、許可した人だけが開けるようにしてください。robots.txt を指定しても、資料そのものへのアクセスは制限されません。 Googleのrobots.txt入門（外部サイト）・RFC 9309（外部サイト）
まとめ
まずは公開中の robots.txt を控え、検索に残したいページを挙げてみてください。そのうえで、AI回答での参照とAI学習への利用をどう扱うか、制作会社や管理担当と決めます。Google検索のAI機能で、自社の情報をどう伝えるかを見直したい方は、GoogleのAI検索に向けたサイトの見直し方も参考にしてください。
この記事の監修者
青山 忠司 あおやま ただし
WordPressを活用したホームページ制作から、公開後の運用・集客改善まで幅広く携わる。Google AnalyticsやSearch Consoleなどのデータをもとに、企業や店舗のWeb活用を支援している。 詳しいプロフィールはこちら
