Genera robots.txt para bloquear más de 30 rastreadores de IA incluyendo ChatGPT, Claude, Gemini y Perplexity con un solo clic. Simplemente marca las casillas para generar código sin errores en tiempo real. Sin impacto en Googlebot (motor de búsqueda) — solo bloquea el entrenamiento no autorizado de IA.
🚀 Presets Rápidos
* "Bloquear Todo" NO bloquea Googlebot (búsqueda normal).
⚠️ Bloquear Googlebot puede hacer que tu sitio desaparezca de los resultados de búsqueda de Google. Mantén Googlebot permitido para la indexación normal.
✅ Bloquear Google-Extended NO afecta tu posición en los resultados de Google. Bloquea el entrenamiento de IA (Gemini, etc.) mientras mantiene tu sitio en los resultados de búsqueda.
🤖 Selecciona Rastreadores IA para Bloquear 0
Los bots marcados se agregarán a robots.txt con Disallow: /
🗺️ URL del Sitemap (Opcional)
Si se ingresa, se agregará una línea Sitemap: a tu robots.txt.
📄 robots.txt Generado
📝 Instalación
Copia el código y crea un archivo de texto llamado robots.txt, luego pega el contenido.
Sube el archivo al directorio raíz (carpeta principal) de tu sitio web.
Ejemplo: Debe ser accesible en https://example.com/robots.txt. Para WordPress, usa el "editor de robots.txt" en plugins como Yoast SEO, o sube directamente a la raíz vía FTP.
Una herramienta en línea para generar reglas de robots.txt específicamente para rastreadores de IA como GPTBot, CCBot, Google-Extended y ClaudeBot.
Bloquea o permite más de 30 rastreadores de IA de empresas como OpenAI, Google, Anthropic, Meta y Apple con una interfaz de casillas simple. Los presets rápidos te permiten aplicar configuraciones recomendadas al instante.
Todo el procesamiento se ejecuta completamente en tu navegador. No se envían datos a ningún servidor y no se requiere registro.
🛡️ ¿Por Qué Deberías Bloquear los Rastreadores de IA?
El Problema del Entrenamiento No Autorizado de Contenido
Los rastreadores de las empresas de IA recopilan automáticamente texto, imágenes, código y otros datos de la web para usarlos como datos de entrenamiento para modelos de lenguaje grandes (LLM). Las publicaciones de blog, descripciones de productos, ideas de diseño y conocimientos que has creado con tu tiempo se están usando como "material de entrenamiento" para la IA sin tu permiso.
Tendencias Legales — Japón, UE y EE.UU.
Desde 2024, la Agencia de Asuntos Culturales de Japón ha declarado que "los titulares de derechos de autor pueden rechazar el entrenamiento de IA mediante expresión explícita de voluntad". La Ley de IA de la UE exige transparencia en la divulgación de datos de entrenamiento, y múltiples editores en EE.UU. han presentado demandas por infracción de derechos de autor contra empresas de IA. El rechazo mediante robots.txt sirve como un medio de expresar intención legal.
Los Principales Sitios Ya Están Bloqueando
Muchos sitios importantes, incluidos The New York Times, Amazon y Wikipedia, han bloqueado algunos o todos los rastreadores de IA mediante robots.txt. Recomendamos configurar esto ahora para proteger el contenido de tu sitio.
🔰 Cómo Usar
Selecciona los rastreadores IA a bloquear
Usa los presets rápidos para aplicar configuraciones recomendadas, o selecciona manualmente rastreadores individuales como GPTBot, Google-Extended y ClaudeBot.
Revisa el código generado
El código de robots.txt se genera en tiempo real al marcar/desmarcar rastreadores. Verifica la salida en el área de vista previa.
Copia o descarga robots.txt
Copia el código generado y agrégalo al archivo robots.txt de tu sitio web en el directorio raíz.
🔍 ¿Bloquear Google-Extended Afecta el Ranking de Búsqueda?
Googlebot y Google-Extended Son Diferentes
Google usa diferentes User-Agents para diferentes propósitos. La indexación de búsqueda regular (SEO) usa Googlebot. Mientras tanto, Google-Extended es un rastreador exclusivamente para los servicios de IA generativa de Google como Gemini y Vertex AI.
Bloquear Solo Google-Extended Es Seguro
Al agregar User-agent: Google-Extended / Disallow: / a robots.txt, puedes bloquear el entrenamiento de IA por Gemini sin afectar tu ranking de búsqueda en Google ni la aparición en "AI Overviews (Search Generative Experience)". El preset "Bloquear Todo el Entrenamiento IA" de esta herramienta está diseñado considerando esto.
⚠️ Nunca Bloquees Googlebot
Escribir User-agent: Googlebot / Disallow: / detendrá el rastreo de búsqueda de Google, causando que tu sitio desaparezca de los resultados de búsqueda — un incidente crítico. Esta herramienta no incluye Googlebot en las opciones de selección.
📚 Glosario y Lista de Rastreadores IA Principales
GPTBot
El rastreador web de OpenAI utilizado para recopilar datos de entrenamiento para ChatGPT y otros modelos GPT.
ChatGPT-User
Rastreador utilizado para la función de navegación de ChatGPT.
OAI-SearchBot
Rastreador del índice de búsqueda de SearchGPT. OpenAI declara oficialmente cumplimiento con robots.txt.
Google-Extended
Rastreador de entrenamiento de IA de Google para Gemini/Vertex AI. Separado de Googlebot utilizado para indexación de búsqueda.
ClaudeBot
Rastreador de Anthropic para recopilar datos de entrenamiento para los modelos de IA Claude. Se declara que respeta robots.txt.
CCBot
El rastreador de Common Crawl. Recopila datos utilizados en muchos conjuntos de datos de entrenamiento de IA, incluyendo los de GPT y Claude.
Bytespider
Rastreador de ByteDance (empresa matriz de TikTok) para recopilar datos de entrenamiento para su LLM "Doubao". Se han reportado casos de rastreo agresivo.
PerplexityBot
Rastreador de IA de búsqueda en tiempo real. Se reportaron casos pasados de ignorar robots.txt, pero ya se han abordado.
Meta-ExternalAgent
Rastreador de entrenamiento de IA de Meta. Separado del User-Agent facebookexternalhit (vista previa de redes sociales).
Directiva User-agent
Una directiva de robots.txt que especifica qué rastreador controlar. Cada rastreador de IA tiene un nombre de User-agent único.
🔧 ¿robots.txt No Es Suficiente? Medidas Adicionales
Bloquear vía Encabezados HTTP (X-Robots-Tag)
Agrega X-Robots-Tag: noai, noimageai a los encabezados de respuesta HTTP de tu servidor para señalar tu intención de rechazar el entrenamiento de IA cuando se rastreen las páginas. Configurable vía .htaccess (Apache) o nginx.conf.
Bloquear vía Meta Tags HTML
Agrega <meta name="robots" content="noai, noimageai"> dentro del <head> de cada página. En WordPress, esto se puede agregar masivamente vía plugins o functions.php.
Bloqueo de IP vía Cloudflare / WAF
Para rastreadores maliciosos que ignoran robots.txt, el bloqueo directo por rango de IP es efectivo. Las Reglas de Firewall de Cloudflare pueden configurar reglas de bloqueo basadas en User-Agent.
Gestión con Plugins de WordPress
Plugins SEO principales como "Yoast SEO" y "Rank Math" incluyen editores de robots.txt integrados, permitiendo gestión basada en GUI sin FTP.
❓ FAQ
P. ¿Puede robots.txt prevenir el entrenamiento de IA?
R. Las principales empresas de IA respetan robots.txt, pero no tiene poder de aplicación legal. Para protección completa, combina con bloqueo de IP de Cloudflare o WAF.
P. ¿Puedo agregar al robots.txt existente?
R. Sí. Agrega el código generado al principio del archivo (colócalo antes del bloque predeterminado User-agent: *). Esta herramienta solo genera la sección de bloqueo de IA, por lo que tu configuración existente no se sobrescribirá.
P. ¿Esto afecta el rastreo de motores de búsqueda?
R. No. Solo se controlan User-agents específicos de IA. Googlebot y Bingbot no se ven afectados.
P. ¿Dónde está el robots.txt de WordPress?
R. WordPress no tiene un archivo robots.txt físico por defecto — genera uno virtualmente. Para colocar un archivo real, sube robots.txt a la raíz vía FTP, o usa el editor en plugins como Yoast SEO.
P. ¿Esto eliminará mi sitio de los AI Overviews de Google (SGE)?
R. Bloquear Google-Extended no necesariamente te elimina de los AI Overviews. Los AI Overviews usan el índice de Googlebot, así que no bloquees Googlebot.
P. ¿Cuándo entran en efecto los bloqueos?
R. Después de colocar robots.txt, se hace efectivo cuando cada rastreador visite de nuevo. Normalmente se refleja en unos días a 2 semanas. Para bloqueo inmediato, considera soluciones del lado del servidor como Cloudflare.
P. ¿Puedo proteger imágenes y PDFs del entrenamiento de IA?
R. Disallow: / bloquea todas las páginas, haciendo que los enlaces a imágenes y PDFs dentro de tu sitio sean más difíciles de rastrear. Sin embargo, el contenido ya público y enlazado desde otros sitios requiere medidas adicionales.
P. ¿Se envían datos a un servidor?
R. No. Todo se ejecuta completamente en tu navegador.
💡 Casos de Uso
🛡️
Protección de Contenido
Protege el contenido de blogs y noticias de ser usado como datos de entrenamiento de IA.
