1. Главная
  2. /
  3. Life
  4. /
  5. Web
  6. /
  7. robots.txt запрещаем индексацию сайта

robots.txt запрещаем индексацию сайта

Чтобы запретить индексацию сайта всеми поисковыми роботами, создайте в корне сайта файл robots.txt со следующим содержимым:


User-agent: *
Disallow: /


т.е. мы тупо запретили роботам тусить у нас на сайте, кстати также можно ограничивать доступ на индексацию определенных директорий сайта, например /cgi/


User-agent: *
Disallow: /cgi/

а также определенным роботам:


User-agent: Yandex
Disallow: /

В общем, веселых экспериментов

Добавить комментарий

Ваш адрес email не будет опубликован.

Заполните поле
Заполните поле
Пожалуйста, введите корректный адрес email.
Вы должны согласиться с условиями для продолжения

Категории

Партнерские скидки

Меню