ZenovayTools

Générateur Robots.txt

Générez un fichier robots.txt avec des règles user-agent courantes, des chemins disallow, des paramètres de crawl-delay et l'URL du sitemap. Inclut des présets pour les plates-formes CMS courantes (WordPress, Shopify, Next.js) et les configurations SEO. Aperçu et copie du résultat.

Quick presets:

Disallow
None — add paths or leave empty to allow all
Allow
None — add paths or leave empty to use default

Deploy this file to: https://yourdomain.com/robots.txt

Comment utiliser Générateur Robots.txt

  1. 1Sélectionnez un préset ou configurez des règles personnalisées pour chaque crawleur.
  2. 2Ajoutez ou supprimez les chemins Disallow et Allow pour chaque user agent.
  3. 3Définissez un délai de crawl si nécessaire et ajoutez l'URL de votre sitemap.
  4. 4Aperçu et copie du contenu robots.txt généré.
ZenovayAnalytics

Voyez qui est sur votre site en ce moment.

  • Suivi des visiteurs en temps réel
  • Vie privée d'abord, sans bandeau cookies
  • Installé en deux minutes
Découvrir Zenovay

Outils connexes

Analyseur de balises Meta
Analysez les balises meta de n'importe quelle page web. Vérifiez le titre, la description, Open Graph, les cartes Twitter et obtenez des recommandations SEO.
Vérificateur Open Graph
Prévisualisez comment votre page apparaît lorsqu'elle est partagée sur Facebook, Twitter et LinkedIn. Vérifiez toutes les balises OG et Twitter Card.
Vérificateur d'En-têtes HTTP
Inspectez les en-têtes de réponse HTTP de n'importe quelle URL. Vérifiez les en-têtes de sécurité, la mise en cache, le type de contenu, et bien plus.
Validateur Robots.txt
Validez et analysez votre fichier robots.txt. Vérifiez les règles, les sitemaps et les problèmes de crawl courants.

Questions fréquemment posées

Qu'est-ce que robots.txt et comment fonctionne-t-il ?▾
robots.txt est un fichier texte à la racine d'un site web qui indique aux robots des moteurs de recherche quelles pages ou sections ils doivent ou ne doivent pas visiter. Il suit le Robots Exclusion Protocol (REP). Note : robots.txt est consultatif — les robots bien configurés (Googlebot, Bingbot) le respectent, mais les bots malveillants peuvent l'ignorer. Il ne s'agit pas d'un mécanisme de sécurité et ne bloque pas l'accès au contenu, il demande seulement aux robots d'ignorer certaines URL.
Quelle est la différence entre Disallow et Allow ?▾
Disallow indique aux robots de ne pas accéder à un chemin. Allow remplace un Disallow pour un chemin plus spécifique. Par exemple : Disallow: /private/ bloque tout le répertoire /private/, mais Allow: /private/public.html autorise ce fichier spécifique. Les règles plus spécifiques ont la priorité. Un Disallow: vide signifie tout autoriser (effectivement une non-opération). Disallow: / bloque l'ensemble du site.
Comment bloquer un robot spécifique ?▾
Utilisez User-agent: NomDuBot suivi des règles pour ce robot. Noms de robots courants : Googlebot (Google), Bingbot (Bing), Slurp (Yahoo), DuckDuckBot (DuckDuckGo), facebookexternalhit (Facebook). Le joker User-agent: * s'applique à tous les robots non spécifiés autrement. Les règles spécifiques aux robots remplacent le joker pour ce robot. Pour bloquer les robots d'entraînement IA : GPTBot (OpenAI), CCBot (Common Crawl), ClaudeBot (Anthropic), Google-Extended.
Devrais-je inclure mon sitemap dans robots.txt ?▾
Oui — ajouter Sitemap: https://exemple.com/sitemap.xml au robots.txt aide les moteurs de recherche à découvrir votre sitemap sans avoir à le soumettre manuellement à chaque console de recherche. Vous pouvez lister plusieurs sitemaps. La directive Sitemap ne fait pas partie du standard d'exclusion des robots original mais est prise en charge par tous les principaux moteurs de recherche, notamment Google, Bing et Yahoo.
Qu'est-ce que Crawl-delay et devrais-je l'utiliser ?▾
Crawl-delay spécifie un nombre minimum de secondes entre les requêtes du robot. Certains robots (Bingbot, Yandex) le prennent en charge, mais Google l'ignore — utilisez Google Search Console pour gérer le taux de crawl de Googlebot à la place. Utilisez Crawl-delay uniquement si la charge du serveur due aux robots pose un problème, généralement 1 à 10 secondes. Des délais de crawl élevés peuvent ralentir la façon dont Google découvre le contenu nouveau ou mis à jour.