robots.txt запрещаем индексацию сайта

Чтобы запретить индексацию сайта всеми поисковыми роботами, создайте в корне сайта файл robots.txt со следующим содержимым:


User-agent: *
Disallow: /


т.е. мы тупо запретили роботам тусить у нас на сайте, кстати также можно ограничивать доступ на индексацию определенных директорий сайта, например /cgi/


User-agent: *
Disallow: /cgi/

а также определенным роботам:


User-agent: Yandex
Disallow: /

В общем, веселых экспериментов

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *

Заполните поле
Заполните поле
Пожалуйста, введите корректный адрес email.
Вы должны согласиться с условиями для продолжения

Меню