Saltar al contenido
DevLab

🤖 Probador robots.txt

Pega robots.txt y una URL; ve si cada bot puede rastrearla.

✅ 100% gratis, sin registro, solo navegador

🤖 Todos los crawlers

🔗 Herramientas relacionadas

📖 Cómo usar

  1. 1
    Pega el contenido de robots.txt
    Pega el robots.txt en el panel izquierdo.
  2. 2
    Ingresa la ruta y el User-agent
    Ingresa la ruta y selecciona el User-agent.
  3. 3
    Revisa el resultado y la tabla de crawlers
    Se muestra el veredicto y la regla aplicada.

❓ Preguntas frecuentes

¿Qué pasa con Disallow: / y Allow: /?
Google usa la regla del mayor match; en empate, Allow gana.
¿Se analiza la directiva Sitemap?
Solo evalua Allow/Disallow; Sitemap y Crawl-delay se ignoran.
¿El User-agent distingue mayusculas?
Este tool no distingue mayusculas, igual que Google.