Generador de Robots.txt
Genera un archivo robots.txt con reglas de agente de usuario comunes, rutas deshabilitadas, configuraciones de retraso de rastreo y URL del mapa del sitio. Incluye presets para plataformas CMS comunes (WordPress, Shopify, Next.js) y configuraciones SEO. Previsualiza y copia el resultado.
Quick presets:
Disallow
None — add paths or leave empty to allow all
Allow
None — add paths or leave empty to use default
Deploy this file to: https://yourdomain.com/robots.txt
Cómo usar Generador de Robots.txt
- 1Selecciona un preset o configura reglas personalizadas para cada rastreador.
- 2Añade o elimina rutas Disallow y Allow para cada agente de usuario.
- 3Establece un retraso de rastreo si es necesario y añade tu URL del mapa del sitio.
- 4Obtén una vista previa y copia el contenido de robots.txt generado.
ZenovayAnalytics
Ve quién está en tu sitio ahora mismo.
- Seguimiento de visitantes en tiempo real
- Privacidad primero, sin aviso de cookies
- Configurado en dos minutos
Herramientas relacionadas
Analizador de Meta Tags
Analiza las meta tags de cualquier página web. Comprueba título, descripción, Open Graph, tarjetas de Twitter y obtén recomendaciones SEO.Verificador de Open Graph
Obtén una vista previa de cómo se ve tu página cuando se comparte en Facebook, Twitter y LinkedIn. Comprueba todas las etiquetas OG y Twitter Card.Comprobador de Encabezados HTTP
Inspecciona encabezados de respuesta HTTP de cualquier URL. Comprueba encabezados de seguridad, almacenamiento en caché, tipo de contenido y más.Validador de Robots.txt
Valida y analiza tu archivo robots.txt. Verifica reglas, mapas del sitio y problemas comunes de rastreo.Preguntas frecuentes
¿Qué es robots.txt y cómo funciona?▾
robots.txt es un archivo de texto en la raíz de un sitio web que indica a los rastreadores de motores de búsqueda qué páginas o secciones deben o no deben visitar. Sigue el Protocolo de Exclusión de Robots (REP). Nota: robots.txt es consultivo: los rastreadores bien portados (Googlebot, Bingbot) lo siguen, pero los bots maliciosos pueden ignorarlo. No es un mecanismo de seguridad y no bloquea el acceso al contenido; solo solicita a los rastreadores que omitan ciertas URLs.
¿Cuál es la diferencia entre Disallow y Allow?▾
Disallow indica a los rastreadores que no accedan a una ruta. Allow anula un Disallow para una ruta más específica. Por ejemplo: Disallow: /privado/ bloquea todo el directorio /privado/, pero Allow: /privado/publico.html permite ese archivo específico. Las reglas más específicas tienen precedencia. Un Disallow: vacío significa permitir todo (efectivamente una no-operación). Disallow: / bloquea todo el sitio.
¿Cómo bloqueo un bot específico?▾
Use User-agent: NombreBot seguido de reglas para ese bot. Nombres comunes de bots: Googlebot (Google), Bingbot (Bing), Slurp (Yahoo), DuckDuckBot (DuckDuckGo), facebookexternalhit (Facebook). El comodín User-agent: * se aplica a todos los bots no especificados de otra manera. Las reglas específicas de bot anulan el comodín para ese bot. Para bloquear bots de entrenamiento de IA: GPTBot (OpenAI), CCBot (Common Crawl), ClaudeBot (Anthropic), Google-Extended.
¿Debo incluir mi sitemap en robots.txt?▾
Sí: añadir Sitemap: https://example.com/sitemap.xml a robots.txt ayuda a los motores de búsqueda a descubrir su sitemap sin necesidad de enviarlo manualmente a cada consola de búsqueda. Puede listar múltiples sitemaps. La directiva Sitemap no es parte del estándar de exclusión de robots original pero está admitida por todos los principales motores de búsqueda incluyendo Google, Bing y Yahoo.
¿Qué es Crawl-delay y debo usarlo?▾
Crawl-delay especifica un número mínimo de segundos entre solicitudes del rastreador. Algunos rastreadores (Bingbot, Yandex) lo admiten, pero Google lo ignora: use Google Search Console para gestionar la velocidad de rastreo de Googlebot. Use Crawl-delay solo si la carga del servidor de los rastreadores es un problema, normalmente 1-10 segundos. Los retrasos de rastreo altos pueden ralentizar la velocidad con que Google descubre contenido nuevo o actualizado.