Validateur Robots.txt

Validez et analysez votre fichier robots.txt. Vérifiez les règles, les sitemaps et les problèmes de crawl courants.

Comment utiliser Validateur Robots.txt

1Entrez le nom de votre domaine pour récupérer automatiquement le fichier robots.txt.
2Ou collez le contenu de robots.txt directement dans l'éditeur.
3Cliquez sur « Validate » pour vérifier les erreurs de syntaxe et les problèmes de crawl.
4Examinez les règles analysées, les sitemaps et les avertissements ou erreurs.

ZenovayAnalytics

Analytics sans aucun bandeau cookies.

Suivi des visiteurs en temps réel
Vie privée d'abord, sans bandeau cookies
Installé en deux minutes

Découvrir Zenovay

Outils connexes

Analyseur de balises Meta

Analysez les balises meta de n'importe quelle page web. Vérifiez le titre, la description, Open Graph, les cartes Twitter et obtenez des recommandations SEO.

Vérificateur Open Graph

Prévisualisez comment votre page apparaît lorsqu'elle est partagée sur Facebook, Twitter et LinkedIn. Vérifiez toutes les balises OG et Twitter Card.

Vérificateur d'En-têtes HTTP

Inspectez les en-têtes de réponse HTTP de n'importe quelle URL. Vérifiez les en-têtes de sécurité, la mise en cache, le type de contenu, et bien plus.

Vérificateur de Redirection

Suivez et inspectez les chaînes de redirection HTTP. Voyez chaque saut, le code de statut et l'URL de destination finale.

Questions fréquemment posées

Qu'est-ce qu'un fichier robots.txt ?▾

Robots.txt est un fichier texte qui indique aux robots des moteurs de recherche quelles pages ils peuvent ou ne peuvent pas accéder. Il se trouve à la racine de votre domaine (par exemple, exemple.com/robots.txt).

Ai-je besoin d'un fichier robots.txt ?▾

Bien que non strictement requis, avoir un fichier robots.txt est recommandé. Il aide les moteurs de recherche à crawler votre site plus efficacement et peut empêcher l'indexation de contenu privé ou dupliqué.

Que signifie Disallow: / ?▾

Disallow: / bloque tous les robots d'accéder à l'ensemble de votre site. C'est utile pendant le développement mais doit être supprimé avant le lancement. Soyez très prudent avec cette directive.

Devrais-je inclure une directive Sitemap ?▾

Oui. L'ajout d'une directive Sitemap aide les moteurs de recherche à découvrir et indexer toutes vos pages importantes. Format : Sitemap: https://exemple.com/sitemap.xml

Comment cet outil récupère-t-il mon robots.txt ?▾

Nos serveurs récupèrent le fichier robots.txt à la racine de votre domaine (par exemple, exemple.com/robots.txt) et l'analysent pour identifier les règles, les blocs user-agent et les problèmes potentiels.

Qu'est-ce qu'une directive user-agent ?▾

La directive User-agent spécifie à quels robots un ensemble de règles s'applique. « User-agent: * » s'applique à tous les bots, tandis que « User-agent: Googlebot » cible uniquement le robot d'exploration de Google.

Puis-je valider le robots.txt pour des sites privés ?▾

Non. L'outil ne peut accéder qu'aux fichiers robots.txt publiquement disponibles. Si votre site est derrière un pare-feu ou nécessite une authentification, le fichier ne peut pas être récupéré.