Robots.txt-Generator
Generieren Sie eine robots.txt-Datei mit häufigen User-Agent-Regeln, Disallow-Pfaden, Crawl-Delay-Einstellungen und Sitemap-URL. Enthält Voreinstellungen für gängige CMS-Plattformen (WordPress, Shopify, Next.js) und SEO-Konfigurationen. Vorschau anzeigen und Ergebnis kopieren.
Quick presets:
Disallow
None — add paths or leave empty to allow all
Allow
None — add paths or leave empty to use default
Deploy this file to: https://yourdomain.com/robots.txt
So verwenden Sie Robots.txt-Generator
- 1Wählen Sie eine Voreinstellung oder konfigurieren Sie benutzerdefinierte Regeln für jeden Crawler.
- 2Fügen Sie Disallow- und Allow-Pfade für jeden User-Agent hinzu oder entfernen Sie sie.
- 3Legen Sie bei Bedarf eine Crawl-Verzögerung fest und fügen Sie Ihre Sitemap-URL hinzu.
- 4Zeigen Sie eine Vorschau des generierten robots.txt-Inhalts an und kopieren Sie ihn.
ZenovayAnalytics
Sehen Sie, wer gerade auf Ihrer Seite ist.
- Besucher-Tracking in Echtzeit
- Datenschutz zuerst, cookieloser Modus verfügbar
- In zwei Minuten eingerichtet
Verwandte Tools
Meta-Tag-Analyzer
Analysieren Sie Meta-Tags von Webseiten. Überprüfen Sie Titel, Beschreibung, Open Graph, Twitter Cards und erhalten Sie SEO-Empfehlungen.Open Graph Checker
Sehen Sie eine Vorschau an, wie Ihre Seite bei Freigabe auf Facebook, Twitter und LinkedIn aussieht. Überprüfen Sie alle OG und Twitter Card Tags.HTTP-Header-Checker
Überprüfen Sie HTTP-Antwortheader jeder URL. Überprüfen Sie Sicherheits-Header, Caching, Content-Type und mehr.Robots.txt-Validator
Validieren und analysieren Sie Ihre robots.txt-Datei. Überprüfen Sie Regeln, Sitemaps und häufige Crawling-Probleme.Häufig gestellte Fragen
Was ist robots.txt und wie funktioniert es?▾
robots.txt ist eine Textdatei im Stammverzeichnis einer Website, die Suchmaschinen-Crawlern mitteilt, welche Seiten oder Bereiche sie besuchen sollen oder nicht. Es folgt dem Robots Exclusion Protocol (REP). Hinweis: robots.txt ist beratend - gute Crawler (Googlebot, Bingbot) folgen ihr, aber boesartige Bots können sie ignorieren. Es ist kein Sicherheitsmechanismus.
Was ist der Unterschied zwischen Disallow und Allow?▾
Disallow weist Crawler an, einen Pfad nicht aufzurufen. Allow überschreibt ein Disallow für einen spezifischeren Pfad. Zum Beispiel: Disallow: /privat/ blockiert das gesamte /privat/-Verzeichnis, aber Allow: /privat/öffentlich.html erlaubt diese spezifische Datei. Spezifischere Regeln haben Vorrang. Ein leeres Disallow: bedeutet alles erlauben. Disallow: / blockiert die gesamte Website.
Wie blockiere ich einen bestimmten Bot?▾
Verwenden Sie User-agent: BotName gefolgt von Regeln für diesen Bot. Gängige Bot-Namen: Googlebot (Google), Bingbot (Bing), Slurp (Yahoo), DuckDuckBot (DuckDuckGo), facebookexternalhit (Facebook). Der Platzhalter User-agent: * gilt für alle nicht anderweitig angegebenen Bots. Um KI-Training-Bots zu blockieren: GPTBot (OpenAI), CCBot (Common Crawl), ClaudeBot (Anthropic), Google-Extended.
Sollte ich meine Sitemap in robots.txt einschließen?▾
Ja - das Hinzufügen von Sitemap: https://example.com/sitemap.xml zu robots.txt hilft Suchmaschinen, Ihre Sitemap zu entdecken, ohne sie manuell bei jeder Search Console einzureichen. Sie können mehrere Sitemaps auflisten. Die Sitemap-Direktive wird von allen großen Suchmaschinen einschließlich Google, Bing und Yahoo unterstützt.
Was ist Crawl-delay und sollte ich es verwenden?▾
Crawl-delay gibt eine Mindestanzahl von Sekunden zwischen Anfragen vom Crawler an. Einige Crawler (Bingbot, Yandex) unterstützen es, aber Google ignoriert es - verwenden Sie die Google Search Console, um die Crawl-Rate von Googlebot stattdessen zu steuern. Verwenden Sie Crawl-delay nur, wenn die Server-Last durch Crawler ein Problem darstellt, typischerweise 1-10 Sekunden.