🤖 robots.txt ジェネレーター

20 種類以上の主要クローラー (Googlebot / Bingbot / GPTBot / ClaudeBot / PerplexityBot / Bytespider 等) を一括で Allow / Disallow 設定。Crawl-delay・Sitemap・Host ディレクティブ対応。

✅ 完全無料・登録不要・ブラウザ完結 (生成内容はサーバーに送信されません)

🔒 プライバシーについて

・すべての処理はあなたのブラウザ内で完結します
・入力内容はサーバーに送信されません
・登録・ログイン・課金は一切不要です

⚡ プリセット

🤖 クローラー (User-agent)

Allow パス (1 行 1 個)

Disallow パス (1 行 1 個)

Crawl-delay (秒)

Sitemap URL

Host (Yandex 用)

📄 robots.txt

📖 使い方

1

クローラーを選ぶ

チェックボックスで対象クローラーを選び、Allow / Disallow を切り替え。
2

パスとオプションを指定

Allow / Disallow パス、Crawl-delay、Sitemap URL、Host を入力。
3

コピーまたはダウンロード

生成された robots.txt をコピーまたはファイルとして保存。

❓ よくある質問

GPTBot や ClaudeBot を拒否すると検索順位に影響しますか？

いいえ。Googlebot や Bingbot とは別の AI 学習用クローラーです。検索順位には影響しません。AI 引用 (LLMO) を狙うなら許可推奨。

Disallow したのにクロールされるのはなぜ？

robots.txt は紳士協定です。悪質な bot は無視します。確実に拒否するにはサーバー側の HTTP 401 / Basic 認証や IP 制限を併用してください。

robots.txt はどこに置けばよいですか？

ドメインルート (https://example.com/robots.txt) に必ず配置します。サブディレクトリでは認識されません。

🔗 関連ツール

🐛 このツールで問題が発生しましたか？

完全無料・登録不要。再現手順だけでも結構です。届いたご報告は運営者に直接届き、修正の参考にします。