🤖 robots.txt テスター

robots.txt の内容と対象 URL パスを入力するだけで、Googlebot / GPTBot / ClaudeBot など各 User-agent ごとにそのパスが許可されているか判定します。Allow / Disallow / 最長一致ルールを正しく解析。

✅ 完全無料・登録不要・ブラウザ完結

robots.txt

テストする URL パス

User-agent

🤖 主要クローラー一括判定

1

robots.txt の内容を貼り付け

左側のテキストエリアに robots.txt の内容を貼り付けます。サンプルボタンで代表的な書き方を試すこともできます。
2

テストする URL パスと User-agent を入力

右上の「テストする URL パス」に /admin/ などのパスを入力し、ドロップダウンで Googlebot・GPTBot・ClaudeBot などの User-agent を選びます。
3

判定結果と一括クローラーチェックを確認

選択した User-agent に対して ALLOWED / DISALLOWED の判定と一致したルールが表示されます。ページ下部の一括判定表で主要クローラー全員の結果も確認できます。

Disallow: / と Allow: / が両方ある場合はどうなりますか?

Google の実装に従い、最長一致ルールを適用します。同じ長さの場合は Allow が優先されます。このツールも同じルールを使って判定しています。

Sitemap 行は解析されますか?

このツールは Allow / Disallow ルールの判定に特化しており、Sitemap・Crawl-delay などのディレクティブは無視されます。

User-agent の大文字小文字は区別されますか?

このツールは大文字小文字を区別しないマッチングを行います。Googlebot と googlebot は同じとして扱います。実際の Google クローラーも大文字小文字を区別しません。