Хостинг для сайтов и сателлитов
  Формы авторизации для ситемы биллинга, пртнерской программы, и панели вебмастера
Вход в систему биллинга
Логин:
Пароль:

Управление пратнерской программой
Логин:
Пароль:



Панель вебмастера
Логин:
Пароль:


Хостинг, который рекомендуют...

Хостинг


Сервера


Партнерам


Прочее


Запуск нового хостинга.

Новые IP для NS доменов

Обновление ПО на двух серверах



Даешь VPS

Прогон по социальным закладкам

Реселлинг за пол цены



Dress partners 10% Toolbar 100mbps.ru  XM 50 - 0,40$/mec

1 июля 2009

На самом деле все не так страшно, как написано в заголовке, но тем не менее проблема с роботами поисковиков имеет место быть, создавая владельцам сайтов головную боль вызываемую нагрузкой на их детища.
Как показывает практика наиболее прожорливыми оказались боты следующих систем: yandex, yahoo, msn. Так же есть еще граберы, которые представляются ботами поисковиков, но имеют другой IP и игнорируют правила, прописанные в robots.txt. Таких надо сразу банить по IP адресу.

Итак посмотрим что можно сделать сделать с таким нашествием (атака саранчи отдыхает).
Вариантов не так много, но они есть:
1. Забанить робота
2. Ограничить его частоту посещений
3. Купить себе хороший сервер

Все мы понимаем, что люди приходят на сайты с поисковых систем (и не только), поэтому определяем какие из ПС нам наиболее нужны и полезны. Я считаю что из трех наиболее грузящих это yandex, поэтому банить его крайне не желательно. Воспользуемся ограничением и пропишем для него правило crawl-delay в robots.txt , допустим crawl-delay 2 разрешит роботу обращаться к странице не чаще 1 раза в 2 секунды.
С яшей разобрались, идем дальше.
Лично я вижу траф с yahoo и msn очень мизерным и не нужным, а потому уверен что их можно вообще забанить или прописать для них правило в котором выдавать 500 ошибку. Теперь посмотрим что у нас должно получиться для домена 100mbps.ru:

#main section
User-agent:*
Crawl-delay: 1
# End of main section
Host: 100mbps.ru

User-agent: yahoo-mmcrawler
Disallow: /
User-agent: yahoo
Disallow: /
User-agent: psbot
Disallow: /
User-agent: msnbot
Disallow: /
User-agent: msnbot-media
Disallow: /
User-agent: msnbot-news
Disallow: /


Список поисковых роботов здесь
Базовый Robots.txt можно создать здесь




19 мая 2009
19 мая 2009 | Раздел: Хелпер по хостингу

Попробую рассказать как наиболее эффективно и быстро заливать файлы на хостинг.
К примеру мы имеем желание установить на хостинг одну из популярных cms (DataLife Engine 8.0).
Папка с дистрибутивом имеет 1020 файлов(4.36mb) и поверьте моему опыту, будет закачиваться очень долго. Поэтому делаем так, как я покажу.

1. Упаковываем файлы в zip архив.

2. Подключаемся к хостингу через любой фтп клиент и закачиваем полученный архив на сервер.
как видим архив весит 2mb вместо четырех с половиной, что уже хорошо.

3. После успешной заливки архива на хостинг заходим в cPanel, в диспетчер файлов

5. Ставим галочку напротив нашего архива и нажимаем извлечь.

6. После успешного извлечения удаляем архив, он нам больше не нужен. (только место занимает)

7. Выставляем необходимые права на папки и файлы, и смело переходим к установке


Описывать установку здесь не буду. т.к. мы рассматривали момент заливки файлов. Хочу отметить что я на урок потратил 7 минут с учетом проведения параллельно всех описываемых действий.
Если на это не отвлекаться, то думаю можно уложиться минуты за три.

Желаю всем удачи в сайтостроении.