跳到内容

🤖 robots.txt 分析

只需输入主机名即可获取 /robots.txt,并按 User-agent 组分析 Allow / Disallow 规则、Sitemap、Crawl-delay 以及主流搜索引擎和 AI 爬虫的权限状态。

✅ 完全免费,无需注册

⚠️ 请求从 DevLab 服务器发起。不允许私有 IP 地址和 localhost。

🔗 相关工具