無料WEBツールdigtoooooools

by 大阪のホームページ制作会社digrart

robots.txt 自動生成ツール | AIクローラー拒否やGooglebot制御を簡単に作成

robots.txt の設定項目

クイックプリセット

※通常は「全てを許可」ベースで、見せたくない部分だけ個別にブロックします。

全体への許可設定 (User-agent: *)

特定のクローラーを一括ブロックする

学習利用など、特定のアクセスを事前に防ぎたい場合にチェックを入れてください。

ディレクトリごとの個別制御

特定のフォルダ（管理画面など）のみクロールを拒否/許可したい場合に追加します。

サイトマップURLの送信

※指定すると、各検索エンジンが素早く正確にサイト構造を把握できるようになります。

生成された robots.txt



        

            
📝 設置方法
            

            

                コードをコピーし、robots.txt という名前のテキストファイルを作成して貼り付けます。

                保存したファイルをWebサイトのルートディレクトリ（一番上の階層）にアップロードしてください。

                例：https://example.com/robots.txt でアクセスできる状態が正解です。
            

        

    








    

        
検索エンジンの「通行証」を決めるファイル

        

            robots.txt は、Webサイトを巡回する検索エンジンやAIのボット（クローラー）に対して、「どのページを見てよくて、どのページは見てはいけないか」というアクセス指示を出すための重要なテキストファイルです。サイトのルートディレクトリに1つだけ設置して使用します。
        

        
        
主な役割とSEOへの効果

        

            
    
                
  • クロールバジェットの最適化
    管理画面（/wp-admin/ など）ややパラメータ付きの重複ページなど、SEO的に価値のない大量のページへの巡回をブロックすることで、Googlebotの無駄足を防ぎ、本当に重要な記事のクロール頻度（インデックス速度）を上げることができます。
    • 
                
  • AIボットなどの制限
    ChatGPT（GPTBot）などによる無断でのテキスト学習を防ぐために、特定のボットだけを名指しでブロック（Disallow）する用途でも現在広く使われています。
    • 
                
  • サイトマップの即時伝達
    ファイル内に Sitemap: とXMLサイトマップのURLを記載することで、検索エンジンがサイトに訪れた瞬間に最新のサイト構造を正確に教えることができます。
    • 
            

        


        
⚠️ 設定時の重大な注意点

        

            Disallow: /（すべて拒否）と設定してしまうと、Googleがサイト全体を一切見られなくなり、検索結果からあなたのサイトが丸ごと消滅する大事故になります。

            また、robots.txtはあくまで「巡回しないでね」というモラルに基づいたお願いであり、秘密のページを隠すためのセキュリティ対策としては利用できません（悪意ある攻撃者はこれを無視します）。機密情報のあるページには必ずBasic認証やパスワード保護などをかけてください。
        

    






    

        
User-agent (対象クローラーの指定)

        

            検索エンジンやAIボットの「識別名」を指定する項目です。

            User-agent: *（アスタリスク）を指定すると、「世の中に存在するすべてのクローラー」に対する基本ルールを意味します。特定のボット（例: Googlebot）だけ別ルールにしたい場合は、名前を明記して新たなブロックを作ります。
        

        
        
Allow (許可) と Disallow (拒否)

        

            Disallow: /wp-admin/ のように書くと、そのディレクトリ配下へのアクセスを禁止します。

            逆に Allow: /wp-admin/admin-ajax.php のように Allow を組み合わせることで、「管理画面は基本拒否するけど、この1つのファイルだけは機能上アクセスを許可する」といった高度な例外指定も可能です。

            なお、ルールが衝突した場合は「文字数（パス）が長い方」や「より具体的に指定されている方」が優先されるのが一般的なクローラーの挙動です。
        

        
        
Sitemap (サイトマップの指定)

        

            サイト全体の構成を記したXMLファイルのURLを記述します。

            Google Search Consoleなどで手動送信することもできますが、ここにも併記しておくことで、他のマイナーな検索エンジンや海外の検索エンジンに対しても一括でURLリストを伝えることができます。
        

    







  
SEO対策
WEB開発ツール
ネットワーク
セキュリティ
画像処理・テキスト解析
ビジネス
SNS・エンタメ
生活