Перейти к основному содержанию
Tools Star Hub
SEO и утилиты категория

Генератор robots.txt

Создайте текст robots.txt с правилами user-agent, allow и disallow, а также необязательным URL карты сайта.

Что такое «Генератор robots.txt»?

Генератор robots.txt пишет строки User-agent, Allow и Disallow по введённым правилам. Он может добавить URL карты сайта. Он ничего не публикует и не проверяет работающий сайт.

Загрузка инструмента…

Этот инструмент работает в вашем браузере. Введённые данные, файлы и результаты остаются на этом устройстве. Избранное и недавние инструменты, если вы ими пользуетесь, хранят в локальном хранилище только названия инструментов — никогда не пароли, документы или содержимое QR-кодов. Подробнее — в политике конфиденциальности.

Что делает этот инструмент

Составьте текст robots.txt из одной или нескольких групп user-agent и необязательного URL карты сайта.

Как пользоваться

  1. Введите user-agent.
  2. Добавьте пути Allow и Disallow, по одному в строке.
  3. При желании добавьте URL карты сайта.
  4. Нажмите «Создать».

Примеры

  • Закрытая папка

    User-agent * с Disallow: /admin просит поисковых роботов не загружать пути внутри /admin. Файл — это только текст.

Основные возможности

  • Несколько групп user-agent.
  • Несколько строк Allow и Disallow.
  • Необязательный абсолютный URL карты сайта.

Как это работает

Каждая группа начинается с User-agent, затем идут строка Allow для каждого пути и строка Disallow для каждого пути. Пустые строки путей пропускаются. Карта сайта добавляется, только если это абсолютный URL с http или https. Страница не загружает файл и не проверяет работающий сайт.

Советы

  • Используйте * для всех роботов.
  • Пишите каждый путь в отдельной строке.

Ограничения

Результат — текст для копирования. Он не публикует правила и не проверяет, что разрешает работающий сайт.

Что не охватывают эти инструменты, см. в разделе «Отказ от ответственности».

Частые вопросы

Как написать файл robots.txt?
Начните со строки User-agent, затем добавьте строки Allow и Disallow. Добавьте строку Sitemap, если у вас есть абсолютный URL карты сайта.
Можно ли указать несколько user-agent?
Да. У каждой группы свой user-agent и свои правила.
Что происходит с пустым путём?
Пустая строка пропускается, поэтому пустое правило Allow или Disallow не создаётся.
Проверяет ли это мой работающий сайт?
Нет. Инструмент только создаёт текст. Он не публикует файл и не обращается к вашему сайту.
Какой URL карты сайта принимается?
Абсолютный URL с http или https. Путь без протокола отклоняется.
Отправляются ли эти данные на сервер?
Нет. Строки user-agent и пути собираются в этой вкладке. Они не загружаются, и страница не обращается к вашему сайту.

Похожие инструменты