На самом деле все не так страшно, как написано в заголовке, но тем не менее проблема с роботами поисковиков имеет место быть, создавая владельцам сайтов головную боль вызываемую нагрузкой на их детища.
Как показывает практика наиболее прожорливыми оказались боты следующих систем: yandex, yahoo, msn. Так же есть еще граберы, которые представляются ботами поисковиков, но имеют другой IP и игнорируют правила, прописанные в robots.txt. Таких надо сразу банить по IP адресу.

Итак посмотрим что можно сделать сделать с таким нашествием (атака саранчи отдыхает).
Вариантов не так много, но они есть:
1. Забанить робота
2. Ограничить его частоту посещений
3. Купить себе хороший сервер

Все мы понимаем, что люди приходят на сайты с поисковых систем (и не только), поэтому определяем какие из ПС нам наиболее нужны и полезны. Я считаю что из трех наиболее грузящих это yandex, поэтому банить его крайне не желательно. Воспользуемся ограничением и пропишем для него правило crawl-delay в robots.txt , допустим crawl-delay 2 разрешит роботу обращаться к странице не чаще 1 раза в 2 секунды.
С яшей разобрались, идем дальше.
Лично я вижу траф с yahoo и msn очень мизерным и не нужным, а потому уверен что их можно вообще забанить или прописать для них правило в котором выдавать 500 ошибку. Теперь посмотрим что у нас должно получиться для домена 100mbps.ru:



Список поисковых роботов здесь
Базовый Robots.txt можно создать здесь

Попробую рассказать как наиболее эффективно и быстро заливать файлы на хостинг.
К примеру мы имеем желание установить на хостинг одну из популярных cms (DataLife Engine 8.0).
Папка с дистрибутивом имеет 1020 файлов(4.36mb) и поверьте моему опыту, будет закачиваться очень долго. Поэтому делаем так, как я покажу.

1. Упаковываем файлы в zip архив.

2. Подключаемся к хостингу через любой фтп клиент и закачиваем полученный архив на сервер.
как видим архив весит 2mb вместо четырех с половиной, что уже хорошо.

3. После успешной заливки архива на хостинг заходим в cPanel, в диспетчер файлов

5. Ставим галочку напротив нашего архива и нажимаем извлечь.

6. После успешного извлечения удаляем архив, он нам больше не нужен. (только место занимает)

7. Выставляем необходимые права на папки и файлы, и смело переходим к установке


Описывать установку здесь не буду. т.к. мы рассматривали момент заливки файлов. Хочу отметить что я на урок потратил 7 минут с учетом проведения параллельно всех описываемых действий.
Если на это не отвлекаться, то думаю можно уложиться минуты за три.

Желаю всем удачи в сайтостроении.