Robots.txt アナライザー

robots.txtのシンタックスを検証し、サイトマップの到達可能性を確認し、クロール阻止の設定ミスを検出し、DisallowルールをサイトマップURLに照らし合わせます。

Robots.txt アナライザーの使い方

1あなたのウェブサイトのURLまたはドメインを入力してください。
2このツールはあなたのrobots.txtと宣言されたサイトマップを自動的に取得します。
3シンタックスの問題、クロールルール、およびサイトマップの妥当性を確認してください。
4DisallowルールとサイトマップURLの間の競合を確認してください。

Zenovayアナリティクス

訪問者の本当の行動を知る。

リアルタイムの訪問者トラッキング
プライバシーファースト、クッキーバナーなし
2分でセットアップ

Zenovayを見る

よくある質問

robots.txt分析ツールは何をチェックしますか?▾

robots.txtを取得し、構文を検証し、宣言されたサイトマップURLに到達可能であることを確認し、サイトマップ内のURLに対するDisallowルールを相互参照して、偶発的なクロールブロックを検出します。また、Disallowルールで開示された機密パス(Streisand効果)にフラグを立てます。

「Disallow: /がサイトマップURLをブロック」競合とは何ですか?▾

robots.txtにDisallow: /blog/がありますが、サイトマップに/blog/post-1、/blog/post-2などが含まれている場合、GoogleはサイトマップでこれらのURLを見ていますが、Disallowルールのため、クロールできません。この競合はインデックス作成の失敗を引き起こします。分析ツールはこれらの不一致を検出し、ブロックされている特定のURLを表示します。

robots.txtがないことは悪いですか?▾

いいえ。robots.txtがない(404応答)のは大丈夫です—検索エンジンはデフォルトですべてをクロールします。特定のパスを制限する必要がある場合のみ問題になります。ただし、Sitemap:指令を含むrobots.txtを持つことで、検索エンジンがサイトマップをより速く発見できます。

「Disallow: /」が重大なエラーなのはなぜですか?▾

「Disallow: /」は、すべてのクローラーをサイト上のどのページのインデックス作成もブロックします。これは最も一般的な偶発的なSEO災害です—開発者が誤ってステージングrobots.txtを本番にプッシュします。Googlebotがこれを尊重する場合、サイト全体が数日以内に検索結果から消失する可能性があります。

robots.txtのStreisand効果とは何ですか?▾

Disallowルールで機密パス(/admin、/backup、/private-apiなど)をrobots.txtにリストすることで、それらを公開可能にします—誰でもrobots.txtを読むことができます。攻撃者は特にrobots.txtでプローブするための興味深いパスを探します。機密パスへのアクセスを制限するには、robots.txtの代わりにサーバーレベルの認証を使用します。

すべてのクローラーはrobots.txtを尊重しますか?▾

主要な検索エンジンのクローラー(Googlebot、Bingbot、DuckDuckBot)はrobots.txtを尊重します。ただし、スクレーパー、データブローカー、AI トレーニングクローラー、および悪意のあるボットはそれを完全に無視することがよくあります。robots.txtは規則であり、セキュリティメカニズムではありません—機密コンテンツを保護するために決してそれに依存しないでください。

サイトマップインデックスとサイトマップの違いは何ですか?▾

サイトマップインデックスは、複数の個別サイトマップにリンクするルートXMLファイルです(数千のURLを持つ大規模サイトに便利です)。通常のサイトマップXMLはページURLを直接リストします。このツールはサイトが使用しているタイプを検出し、両方の到達可能性をチェックします。

画像ツール

Robots.txt アナライザー