🔒完全ブラウザ処理データがサーバーに送信されることはありません
🛡️30以上のAIクローラーワンクリックでGPTBot・Claude・Geminiなどをブロック
✅SEOへの影響なしGoogleの通常検索インデックスには影響しません
ChatGPT・Claude・Gemini・Perplexityなど30以上のAIクローラーを一括ブロックするrobots.txtをワンクリックで生成します。チェックを入れるだけで構文エラーのないコードをリアルタイム出力。Googlebot（検索エンジン）への影響なしでAIの無断学習のみを拒否できます。
🚀 クイックプリセット
※「AI学習を全ブロック」でもGooglebot（通常の検索）はブロックされません。
⚠️ Googlebotをブロックすると、Googleの検索結果からサイトが消えてしまう可能性があります。通常の検索インデックスには Googlebot を使用してください。
✅ Google-Extended のブロックは、Google検索の表示順位に影響しません。Gemini等のAI学習を拒否しつつ、通常の検索には引き続き表示されます。
🤖 ブロックするAIクローラーを選択 0
チェックを入れたボットが robots.txt に Disallow: / で追加されます。
📝 設置方法
コードをコピーし、robots.txt という名前のテキストファイルを作成して貼り付けます。
保存したファイルをWebサイトのルートディレクトリ（一番上の階層）にアップロードしてください。
例：https://example.com/robots.txt でアクセスできる状態が正解です。
WordPressの場合は、Yoast SEO などのプラグインの「robots.txt エディター」から編集するか、FTPでルートに直接設置してください。
📖 このツールについて
ChatGPT・Claude・Gemini等のAIクローラーのアクセスを制御するrobots.txtを生成するオンラインツールです。
GPTBot、ChatGPT-User、Google-Extended、ClaudeBot等、30以上の主要AIクローラーを個別に許可/拒否する設定をワンクリックで生成。プリセット機能で推奨設定も即座に適用できます。
すべての処理はブラウザ内で完結し、データがサーバーに送信されることはありません。登録不要で無料で利用できます。
🛡️ なぜAIクローラーをブロックすべきなのか
- コンテンツの無断学習利用という問題
- AIサービスを展開する各社のクローラーは、Webを巡回してテキスト・画像・コードなどのデータを自動収集し、生成AI（LLM）の学習データとして利用しています。ブログ記事・商品説明・デザインアイデア・ノウハウなど、あなたが時間をかけて作ったコンテンツが、無断でAIの「学習素材」として使われていることになります。
- 法的な潮流 — 日本・EU・米国の動向
- 2024年以降、日本の文化庁も「著作権者の明示的な意思表示でAI学習を拒否できる」という見解を示しています。EUのAI法（AI Act）では学習データの透明性開示が義務化され、米国では複数の出版社がAI企業に対して著作権侵害訴訟を起こしています。robots.txt による拒否表明は、法的な意思表示の一手段として機能します。
- すでに多くの大手サイトがブロック済み
- The New York Times・Amazon・Wikipediaを含む多くの大手サイトが、AIクローラーの一部または全部をrobots.txtでブロックしています。あなたのサイトのコンテンツを守るために、今すぐ設定することを推奨します。
🔰 使い方
制御したいクローラーを選択する
プリセットボタンで推奨設定を一括適用するか、個別にGPTBot、Google-Extended等のAIクローラーを選択します。
生成されたコードを確認する
チェックの変更に応じてrobots.txtコードがリアルタイムで生成されます。出力エリアでコードを確認してください。
robots.txtをコピーまたはダウンロード
生成されたコードをコピーし、Webサイトのルートディレクトリにあるrobots.txtファイルに追記します。
🔍 Google-Extended をブロックしても検索順位は下がらない？
- Googlebot と Google-Extended は別物
- Googleは用途に応じてクローラーの User-Agent を使い分けています。通常の検索インデックス（SEO）に使うのは
Googlebot です。一方、Google-Extended は Gemini・Vertex AI などGoogleの生成AIサービスの学習専用のクローラーです。 - Google-Extended だけブロックすれば安全
robots.txt に User-agent: Google-Extended / Disallow: / と記述することで、Google検索の表示順位や「AIオーバービュー（Search Generative Experience）」への表示には影響なく、Gemini等によるコンテンツの学習利用のみを拒否できます。本ツールのプリセット「AI学習を全ブロック」はこの仕様を踏まえた設計になっています。- ⚠️ Googlebotは絶対にブロックしないこと
User-agent: Googlebot / Disallow: / と書いてしまうと、Google検索のクロールが停止し、検索結果からサイトが消える重大事故になります。本ツールでは Googlebot は選択項目に含まれていません。
📚 用語集・主要AIクローラー一覧
- GPTBot
- OpenAIのWebクローラー。ChatGPTやGPTモデルの学習データ収集に使用されます。
- ChatGPT-User
- ChatGPTのブラウジング機能で使用されるクローラー。
- OAI-SearchBot
- SearchGPTの検索インデックス用クローラー。OpenAIはrobots.txtの遵守を公式に明言しています。
- Google-Extended
- GoogleのAI学習用クローラー。Gemini/Vertex AIのデータ収集に使用。検索用のGooglebotとは別物です。
- ClaudeBot
- Anthropic社のClaude AIモデル学習用クローラー。robots.txtを尊重するとされています。
- CCBot
- Common Crawlのクローラー。ChatGPT・Claude等、多くのAIモデルの学習データの源となるデータを収集します。
- Bytespider
- ByteDance（TikTok親会社）のLLM「Doubao」学習データ収集用クローラー。積極的なクロールが報告されています。
- PerplexityBot
- リアルタイム検索AIのクローラー。過去にrobots.txt無視の報告がありましたが現在は対応済み。
- Meta-ExternalAgent
- MetaのAI学習用クローラー。facebookexternalhit（SNSプレビュー）とは別のUser-Agentです。
- User-agent ディレクティブ
- robots.txtで制御対象のクローラーを指定する記述。各AIクローラーには固有のUser-agent名があります。
🔧 robots.txt だけでは不十分？追加の対策方法
- HTTPヘッダーで拒否する（X-Robots-Tag）
- サーバーサイドのHTTPレスポンスヘッダーに
X-Robots-Tag: noai, noimageai を追加することで、ページをクロールされた際にAI学習を拒否する意思を伝えられます。.htaccess（Apache）や nginx.conf で設定可能です。 - HTMLメタタグで拒否する
- 各ページの
<head> 内に <meta name="robots" content="noai, noimageai"> を記述する方法です。WordPressではプラグインや functions.php で一括追加できます。 - Cloudflare / WAF でのIPブロック
- robots.txt を無視する悪質なクローラーには、IPアドレスレンジで直接ブロックする方法が効果的です。CloudflareのFirewall Rulesで User-Agent に基づいたブロックルールを設定できます。
- WordPress プラグインでの管理
- 「Yoast SEO」「Rank Math」などの主要SEOプラグインには robots.txt エディターが内蔵されており、FTPなしでGUI操作が可能です。
❓ FAQ
- Q. robots.txtでAI学習を防げますか？
- A. 主要なAI企業はrobots.txtを尊重していますが、法的強制力はありません。完全な防御にはCloudflareのIPブロックやWAFの併用を推奨します。
- Q. 既存のrobots.txtに追記できますか？
- A. はい。生成されたコードを既存のrobots.txtの先頭側に追記してください（
User-agent: * のデフォルトブロックより前に配置すること）。既存の設定は上書きされません。 - Q. 検索エンジンのクロールに影響しますか？
- A. いいえ。AI専用のUser-agentのみを制御するため、GooglebotやBingbotには影響しません。
- Q. WordPressの robots.txt はどこにある？
- A. WordPressはデフォルトで物理的なrobots.txtファイルがなく、仮想的に生成しています。実際のファイルを設置するにはFTPでルートに
robots.txt を置くか、Yoast SEO等のプラグインのエディターを使用してください。 - Q. GoogleのAIオーバービュー（SGE）に表示されなくなる？
- A. Google-Extended をブロックしてもAIオーバービューへの表示がなくなるとは限りません。AIオーバービューはGooglebotのインデックスを活用するため、Googlebotはブロックしないようにしてください。
- Q. ブロックはいつ反映される？
- A. robots.txt を設置したあと、各クローラーが次回巡回する際に有効になります。一般的には数日〜2週間程度で反映されます。即時ブロックが必要な場合はCloudflare等のサーバーサイド対応を検討してください。
- Q. 画像やPDFもAI学習から守れる？
- A.
Disallow: / で全ページをブロックするため、サイト内の画像・PDFへのリンクもクロールされにくくなります。ただし、すでに公開済みで他サイトにリンクされているコンテンツは別途対策が必要です。 - Q. データはサーバーに送信されますか？
- A. いいえ。すべての処理はブラウザ内で完結します。
💡 活用シーン
🛡️コンテンツ保護
ブログやニュースサイトのコンテンツをAI学習から保護。
©️著作権管理
オリジナルコンテンツがAIに学習されることを制御。
🎯選択的許可
特定のAI（例：Googleのみ許可）に絞ってアクセスを許可。
⚖️法的コンプライアンス
コンテンツポリシーに基づいたAIクローラー管理を実装。
