Генератор robots.txt
Создаёт правила robots.txt с записями allow, disallow и sitemap.
Генератор robots.txt собирает файл robots.txt из списков разрешённых и запрещённых путей плюс необязательный URL sitemap, готовый к развёртыванию.
Пожалуйста, введите данные.
Как использовать
- Введите разрешённые и запрещённые пути, по одному на строку.
- Добавьте URL sitemap, если он есть.
- Скопируйте сгенерированное содержимое robots.txt.
Часто задаваемые вопросы
Что включено по умолчанию?
Правило User-agent: * с указанными вами строками Allow и Disallow.
Можно ли разрешить весь сайт?
Введите / в поле Allow.
Похожие инструменты
Поиск IP-адреса
Узнайте местоположение и данные сети по IP-адресу.
Мой IP-адрес
Узнайте свой текущий публичный IP-адрес, местоположение и данные сети.
Парсер User Agent
Извлекает браузер, ОС и устройство из строки user agent.
Проверка HTTP-заголовков
Проверяйте заголовки ответа любой веб-страницы.
DNS-запрос
Разрешает DNS-записи домена.
Парсер URL
Разбивает URL на протокол, хост, путь, запрос, фрагмент и декодированные параметры.