Чтобы запретить индексацию сайта всеми поисковыми роботами, создайте в корне сайта файл robots.txt со следующим содержимым:
User-agent: *
Disallow: /
т.е. мы тупо запретили роботам тусить у нас на сайте, кстати также можно ограничивать доступ на индексацию определенных директорий сайта, например /cgi/
User-agent: *
Disallow: /cgi/а также определенным роботам:
User-agent: Yandex
Disallow: /В общем, веселых экспериментов