🤖 robots.txt 测试器
粘贴 robots.txt 和 URL 路径,查看每个 bot 是否可抓取。
✅ 完全免费,无需注册,仅浏览器
🤖 主流爬虫批量检查
🔗 相关工具
📖 使用方法
-
1
粘贴 robots.txt 内容在左侧粘贴 robots.txt 内容。
-
2
输入测试 URL 路径和 User-agent输入路径并从下拉选择 User-agent。
-
3
查看判定结果和批量爬虫检查显示所选 User-agent 的判定结果和匹配规则。
❓ 常见问题
Disallow: / 和 Allow: / 同时存在时?
Google 采用最长匹配规则,相同长度时 Allow 优先。
Sitemap 指令会被解析吗?
此工具专注于 Allow/Disallow 规则,忽略 Sitemap 等指令。
User-agent 区分大小写吗?
此工具不区分大小写,与 Google 爬虫一致。