Generador de robots.txt
Crea un robots.txt válido en segundos: permitir o bloquear todo, o reglas Disallow por agente y enlace al Sitemap. Copia o descarga el archivo.
robots.txt
Preguntas frecuentes
¿Qué hace robots.txt?
Indica a los rastreadores qué partes del sitio pueden visitar. El archivo va en la raíz: example.com/robots.txt.
¿Disallow garantiza privacidad?
No — robots.txt es una convención voluntaria, no control de acceso. Protege las zonas privadas con autenticación.
¿Por qué añadir la línea Sitemap?
Dirige a los rastreadores directamente a tu sitemap.xml, acelerando el descubrimiento e indexación de páginas.