Analizador de Robots.txt
Valida la sintaxis de robots.txt, verifica la accesibilidad del mapa del sitio, detecta errores de configuración que bloquean el rastreo y comprueba las reglas Disallow contra las URLs del mapa del sitio.
Cómo usar Analizador de Robots.txt
- 1Ingresa la URL de tu sitio web o dominio.
- 2La herramienta obtiene automáticamente tu robots.txt y los mapas del sitio declarados.
- 3Revisa problemas de sintaxis, reglas de rastreo y validez del mapa del sitio.
- 4Verifica conflictos entre las reglas Disallow y las URLs del mapa del sitio.
ZenovayAnalytics
Descubre qué hacen de verdad tus visitantes.
- Seguimiento de visitantes en tiempo real
- Privacidad primero, sin aviso de cookies
- Configurado en dos minutos
Herramientas relacionadas
Analizador de Meta Tags
Analiza las meta tags de cualquier página web. Comprueba título, descripción, Open Graph, tarjetas de Twitter y obtén recomendaciones SEO.Verificador de Open Graph
Obtén una vista previa de cómo se ve tu página cuando se comparte en Facebook, Twitter y LinkedIn. Comprueba todas las etiquetas OG y Twitter Card.Comprobador de Encabezados HTTP
Inspecciona encabezados de respuesta HTTP de cualquier URL. Comprueba encabezados de seguridad, almacenamiento en caché, tipo de contenido y más.Validador de Robots.txt
Valida y analiza tu archivo robots.txt. Verifica reglas, mapas del sitio y problemas comunes de rastreo.Preguntas frecuentes
¿Qué comprueba el analizador de robots.txt?▾
Obtiene su robots.txt, valida la sintaxis, comprueba que las URLs de sitemap declaradas sean accesibles y cruza las reglas Disallow con las URLs de su sitemap para detectar bloqueos de rastreo accidentales. También señala las rutas sensibles divulgadas en las reglas Disallow (el efecto Streisand).
¿Qué es el conflicto «Disallow: / bloquea la URL del sitemap»?▾
Si su robots.txt tiene Disallow: /blog/ pero su sitemap contiene /blog/post-1, /blog/post-2, etc., Google ve esas URLs en el sitemap pero no puede rastrearlas debido a la regla Disallow. Este conflicto causa fallos de indexación. El analizador detecta estas inconsistencias y muestra qué URLs específicas están bloqueadas.
¿Es malo no tener un robots.txt?▾
No. La ausencia de un robots.txt (respuesta 404) está bien: los motores de búsqueda por defecto rastrean todo. Solo se convierte en un problema si necesita restringir rutas específicas. Sin embargo, tener un robots.txt con una directiva Sitemap: ayuda a los motores de búsqueda a descubrir su sitemap más rápido.
¿Por qué es un error crítico «Disallow: /»?▾
«Disallow: /» bloquea a todos los rastreadores para que no indexen ninguna página de su sitio. Este es el desastre de SEO accidental más común: un desarrollador empuja accidentalmente un robots.txt de staging a producción. Si Googlebot lo respeta, todo el sitio puede desaparecer de los resultados de búsqueda en pocos días.
¿Qué es el efecto Streisand en robots.txt?▾
Listar rutas sensibles en las reglas Disallow (como /admin, /backup, /private-api) en robots.txt las hace públicamente descubribles: cualquiera puede leer su robots.txt. Los atacantes miran específicamente el robots.txt en busca de rutas interesantes. Para restringir el acceso a rutas sensibles, use autenticación a nivel de servidor en lugar de robots.txt.
¿Todos los rastreadores respetan robots.txt?▾
Los principales rastreadores de motores de búsqueda (Googlebot, Bingbot, DuckDuckBot) respetan robots.txt. Sin embargo, los scrapers, corredores de datos, rastreadores de entrenamiento de IA y bots maliciosos a menudo lo ignoran por completo. robots.txt es una convención, no un mecanismo de seguridad: nunca confíe en él para proteger contenido sensible.
¿Qué es un índice de sitemap frente a un sitemap?▾
Un índice de sitemap es un archivo XML raíz que enlaza a múltiples sitemaps individuales (útil para sitios grandes con miles de URLs). Un sitemap XML normal lista directamente las URLs de páginas. Esta herramienta detecta qué tipo usa su sitio y comprueba la accesibilidad de ambos.