🤖 robots.txt 生成器
为 20 多种主流爬虫 (Googlebot / GPTBot / ClaudeBot 等) 一键生成 Allow / Disallow 规则,支持 Crawl-delay、Sitemap、Host 指令。
✅ 完全免费 · 无需注册 · 浏览器内运行
🔒 关于隐私
- ・浏览器内处理
- ・不发送到服务器
- ・无需注册
⚡ 预设
🤖 爬虫
📄 robots.txt
📖 使用方法
-
1
选择爬虫勾选爬虫并切换 Allow / Disallow。
-
2
添加路径和选项输入路径、Crawl-delay、Sitemap 和 Host。
-
3
复制或下载复制或保存为文件。
❓ 常见问题
屏蔽 GPTBot 影响 SEO 排名吗?
不会。它们是独立的 AI 训练爬虫,不影响搜索排名。
为什么 Disallow 被忽略?
robots.txt 是建议性的。恶意爬虫会忽略,需要服务器认证。
robots.txt 放在哪里?
必须放在域名根目录。
🔗 相关工具
🐛 此工具出现问题了吗？
免费、无需注册。仅提供复现步骤也有帮助。报告将直接发送给运营者并用于改进。
✅
感谢您的反馈！
已送达运营者,将用于改进工具。