🤖 robots.txt 생성기
20 종 이상의 주요 크롤러 (Googlebot / GPTBot / ClaudeBot 등) Allow / Disallow 일괄 설정. Crawl-delay · Sitemap · Host 지원.
✅ 완전 무료 · 가입 불필요 · 브라우저 완결
🔒 개인정보 보호
- ・브라우저 내 처리
- ・서버 전송 없음
- ・가입 불필요
⚡ 프리셋
🤖 크롤러 (User-agent)
📄 robots.txt
📖 사용법
-
1
크롤러 선택체크박스로 크롤러 선택하고 Allow / Disallow 전환.
-
2
경로와 옵션 지정Allow / Disallow 경로, Crawl-delay, Sitemap, Host 입력.
-
3
복사 또는 다운로드복사하거나 파일로 저장.
❓ 자주 묻는 질문
GPTBot 차단이 SEO에 영향?
아니요. AI 학습용 별도 크롤러로 검색 순위와 무관.
Disallow 무시되는 이유?
robots.txt는 권고. 악성 봇은 무시. 서버 인증 병행 필요.
robots.txt 위치?
도메인 루트에 배치.
🔗 관련 도구
🐛 이 도구에서 문제가 발생했나요?
무료 · 가입 불필요. 재현 절차만이라도 도움이 됩니다. 보고는 운영자에게 직접 전달되어 개선에 사용됩니다.
✅
보고 감사합니다!
운영자에게 전달되었습니다. 개선에 사용됩니다.