ZenovayTools

Gerador de Robots.txt

Gere um arquivo robots.txt com regras comuns de agentes de usuário, caminhos desabilitados, configurações de atraso de rastreamento e URL do sitemap. Inclui predefinições para plataformas CMS comuns (WordPress, Shopify, Next.js) e configurações de SEO. Visualize e copie o resultado.

Quick presets:

Disallow
None — add paths or leave empty to allow all
Allow
None — add paths or leave empty to use default

Deploy this file to: https://yourdomain.com/robots.txt

Como Usar Gerador de Robots.txt

  1. 1Selecione uma predefinição ou configure regras personalizadas para cada rastreador.
  2. 2Adicione ou remova caminhos Disallow e Allow para cada agente de usuário.
  3. 3Defina um atraso de rastreamento se necessário e adicione a URL do seu sitemap.
  4. 4Visualize e copie o conteúdo de robots.txt gerado.
ZenovayAnalytics

Veja quem está no seu site agora mesmo.

  • Acompanhamento de visitantes em tempo real
  • Privacidade em primeiro lugar, sem banner de cookies
  • Configurado em dois minutos
Conheça o Zenovay

Ferramentas Relacionadas

Analisador de Meta Tags
Analise meta tags de qualquer página web. Verifique título, descrição, Open Graph, Twitter cards e obtenha recomendações de SEO.
Verificador de Open Graph
Visualize como sua página fica quando compartilhada no Facebook, Twitter e LinkedIn. Verifique todas as tags Open Graph e Twitter Card.
Verificador de Header HTTP
Inspecione headers de resposta HTTP de qualquer URL. Verifique headers de segurança, cache, tipo de conteúdo e muito mais.
Validador de Robots.txt
Valide e analise seu arquivo robots.txt. Verifique regras, sitemaps e problemas comuns de rastreamento.

Perguntas Frequentes

O que é robots.txt e como funciona?▾
robots.txt é um arquivo de texto na raiz de um site que informa aos crawlers de mecanismos de busca quais páginas ou seções eles devem ou não visitar. Segue o Robots Exclusion Protocol (REP). Observação: robots.txt é consultivo — crawlers bem-comportados (Googlebot, Bingbot) o seguem, mas bots maliciosos podem ignorá-lo. Não é um mecanismo de segurança e não bloqueia o acesso ao conteúdo, apenas solicita que os crawlers pulem certas URLs.
Qual é a diferença entre Disallow e Allow?▾
Disallow diz aos crawlers para não acessar um caminho. Allow substitui um Disallow para um caminho mais específico. Por exemplo: Disallow: /privado/ bloqueia o diretório /privado/ inteiro, mas Allow: /privado/publico.html permite esse arquivo específico. Regras mais específicas têm precedência. Um Disallow: vazio significa permitir tudo (efetivamente sem operação). Disallow: / bloqueia o site inteiro.
Como bloqueio um bot específico?▾
Use User-agent: NomeDoBot seguido por regras para esse bot. Nomes de bot comuns: Googlebot (Google), Bingbot (Bing), Slurp (Yahoo), DuckDuckBot (DuckDuckGo), facebookexternalhit (Facebook). O caractere curinga User-agent: * aplica-se a todos os bots não especificados de outra forma. Para bloquear bots de treinamento de IA: GPTBot (OpenAI), CCBot (Common Crawl), ClaudeBot (Anthropic), Google-Extended.
Devo incluir meu sitemap no robots.txt?▾
Sim — adicionar Sitemap: https://example.com/sitemap.xml ao robots.txt ajuda os mecanismos de busca a descobrir seu sitemap sem precisar enviá-lo manualmente para cada console de pesquisa. Você pode listar vários sitemaps. A diretiva Sitemap é suportada por todos os principais mecanismos de busca incluindo Google, Bing e Yahoo.
O que é Crawl-delay e devo usá-lo?▾
Crawl-delay especifica um número mínimo de segundos entre requisições do crawler. Alguns crawlers (Bingbot, Yandex) o suportam, mas o Google o ignora — use o Google Search Console para gerenciar a taxa de rastreamento do Googlebot. Use Crawl-delay apenas se a carga do servidor de crawlers for um problema, tipicamente 1-10 segundos. Atrasos de rastreamento altos podem desacelerar a descoberta de conteúdo novo ou atualizado pelo Google.