robots txt disallow

Disallow – одна из важнейших директив файла roots.txt. Disallow отказывает в доступе указанным роботам к файлам или папкам сайта.

Обычно disallow используют для предотвращения доступа роботов поисковых систем к:

  • Поисковым данным сайта
  • Информации пользователей
  • Дубликатам страниц
  • Сервисные страницы
  • Формы регистраций, входа, панели администратора и другое

Примеры:

User-agent:

Disallow: /catalog # запрещает всем роботам просмотр страниц, начинающихся с /catalogue

User-agent: Yandex

Disallow: /s? # запрещает обход страниц роботу Яндекса, с адресом, содержащим параметры

# предназначена для комментирования

robots txt disallow all

User-agent:

Disallow: /

Запрещает просмотр всех страниц сайта

Добавить комментарий

Please rate*

Ваш e-mail не будет опубликован. Обязательные поля помечены *