Генератор robots.txt
Создайте корректный robots.txt за секунды: разрешить или запретить всё, либо правила Disallow для отдельных ботов и ссылка на Sitemap. Копируйте или скачивайте файл.
robots.txt
Частые вопросы
Что делает robots.txt?
Сообщает поисковым роботам, какие разделы сайта можно обходить. Файл размещается в корне: example.com/robots.txt.
Disallow гарантирует приватность?
Нет — robots.txt это добровольное соглашение, а не контроль доступа. По-настоящему приватные разделы защищайте авторизацией.
Зачем строка Sitemap?
Она направляет роботов прямо к вашему sitemap.xml, ускоряя обнаружение и индексацию страниц.