ZenovayTools

Robots.txt ジェネレーター

一般的なユーザーエージェントルール、disallowパス、クロール遅延設定、およびサイトマップURLを使用してrobots.txtファイルを生成します。一般的なCMSプラットフォーム（WordPress、Shopify、Next.js）およびSEO設定のプリセットが含まれています。結果をプレビューしてコピーしてください。

Quick presets:

Disallow
None — add paths or leave empty to allow all
Allow
None — add paths or leave empty to use default

Deploy this file to: https://yourdomain.com/robots.txt

Robots.txt ジェネレーターの使い方

  1. 1プリセットを選択するか、各クローラーのカスタムルールを設定してください。
  2. 2各ユーザーエージェントについてDisallowおよびAllowパスを追加または削除してください。
  3. 3必要に応じてクロール遅延を設定し、サイトマップURLを追加してください。
  4. 4生成されたrobots.txtコンテンツをプレビューしてコピーしてください。
Zenovayアナリティクス

今、誰がサイトにいるかを把握。

  • リアルタイムの訪問者トラッキング
  • プライバシーファースト、クッキーバナーなし
  • 2分でセットアップ
Zenovayを見る

関連ツール

メタタグアナライザー
任意のウェブページのメタタグを分析します。タイトル、説明、Open Graph、Twitterカードをチェックし、SEO推奨事項を取得します。
Open Graphチェッカー
FacebookやTwitter、LinkedInで共有されたときにページがどのように見えるかプレビューします。すべてのOGおよびTwitter Cardタグをチェックします。
HTTPヘッダーチェッカー
任意のURLのHTTP応答ヘッダーを検査します。セキュリティヘッダー、キャッシング、コンテンツタイプなどを確認できます。
Robots.txt バリデーター
あなたのrobots.txtファイルを検証して分析します。ルール、サイトマップ、および一般的なクロール問題を確認してください。

よくある質問

robots.txtとは何ですか、またどのように機能しますか?▾
robots.txtはウェブサイトのルートにあるテキストファイルで、検索エンジンのクローラーが訪問すべき、またはすべきでないページまたはセクションを指示します。ロボット除外プロトコル(REP)に従います。注意: robots.txtは助言的です—よく行動するクローラー(Googlebot、Bingbot)がそれに従いますが、悪意のあるボットはそれを無視する可能性があります。これはセキュリティメカニズムではなく、コンテンツへのアクセスをブロックしません。クローラーが特定のURLをスキップするよう要求するだけです。
DisallowとAllowの違いは何ですか?▾
Disallowはクローラーにパスにアクセスしないよう指示します。Allowはより具体的なパスのDisallowをオーバーライドします。たとえば、Disallow: /private/は/private/ディレクトリ全体をブロックしますが、Allow: /private/public.htmlはその特定のファイルを許可します。より具体的なルールが優先されます。空のDisallow:はすべてを許可することを意味します(実質的にはノーオプ)。Disallow: /はサイト全体をブロックします。
特定のボットをブロックするにはどうすればよいですか?▾
User-agent: BotNameを使用してから、そのボットのルールを指定します。一般的なボット名: Googlebot(Google)、Bingbot(Bing)、Slurp(Yahoo)、DuckDuckBot(DuckDuckGo)、facebookexternalhit(Facebook)。ワイルドカード User-agent: *は、その他指定されていないすべてのボットに適用されます。ボット固有のルールはそのボットのワイルドカードをオーバーライドします。AIトレーニングボットをブロックするには: GPTBot(OpenAI)、CCBot(Common Crawl)、ClaudeBot(Anthropic)、Google-Extended。
robots.txtにサイトマップを含めるべきですか?▾
はい—Sitemap: https://example.com/sitemap.xmlをrobots.txtに追加することで、検索エンジンがサイトマップを発見できるようになり、各検索コンソールに手動で送信する必要がなくなります。複数のサイトマップをリストできます。Sitemap指令は元のロボット除外標準の一部ではありませんが、Google、Bing、Yahooを含むすべての主要な検索エンジンでサポートされています。
Crawl-delayとは何ですか、またそれを使用すべきですか?▾
Crawl-delayはクローラーからのリクエスト間の最小秒数を指定します。一部のクローラー(Bingbot、Yandex)はそれをサポートしていますが、Googleはそれを無視します—代わりにGoogle Search Consoleを使用してGooglebotのクロール速度を管理してください。クローラーからのサーバー負荷が問題の場合のみCrawl-delayを使用します(通常1-10秒)。高いクロール遅延はGoogleが新しいまたは更新されたコンテンツを発見するスピードを低下させる可能性があります。