Я думаю многие сначала кидаются на цену хостинга, потом начинают изучать отзывы и форум, на следующей стадии появляется вопрос: а какой тариф мне подойдет и выдержит ли хостинг.
Думаю будет оптимальным попытаться доходчиво рассказать на примере нашего хостинга.
Этап сравнения хостинговых площадок мы упустим и перейдем сразу к моменту выбора необходимого тарифа, так что бы не переплачивать и в то же время получать качественные услуги за потраченные деньги.

Пример: Допустим мы ищем хостинг под 5 сайтов на DLE, с общей планируемой посещаемостью от 100 до 3000 человек в сутки.

1. Узнаем размер занимаемый нашими сайтами.
Прогнозировать размер очень сложно, но если взять к примеру 100 новостей с картинками, то примерный объем занимаемый сайтом будет 30 mb.

2. Идем на страницу с тарифами хостинга и начинаем выбор.
Прикидываем что наши 5 сайтов будут занимать не менее 150 mb места. В этом случае подошел бы тариф XM 300, но нам надо учесть еще две важных детали: запас места под почту и количество используемых Баз данных.
Запас места у нас есть и по тарифу XM 300, а вот баз нам не хватает. Поэтому останавливаем свой выбор на тарифе XM 500 и получаем запас еще под несколько сайтов.

3. Как быть с нагрузкой и выдержит ли хостинг?
Тут нам поможет система внедренная в биллинг хостинга. Если ваш аккаунт будет превышать заложенный лимит нагрузки, то вас сразу никто не будет блокировать, а будет автоматически выслано уведомление с запасом на принятие решения ровно сутки.
Практика показывает что 5 сайтов на DLE с 500 новостями и 2000 посетителей в день имеет нагрузку от 1,5% до 6% CPU.
Советую не кидаться сразу, и не брать большой лимит нагрузки, а посмотреть сколько реально идет нагрузка и исходя из этих показателей выбирать необходимый запас.
Как снизить нагрузку и оптимизировать работу сайтов, я расскажу в другой статье.

4. Что делать, если нагрузка не постоянная?
Тариф лимита нагрузки меняется в биллинге с автоматическим перерасчетом. Та же можно и отказаться от этой опции, если превышения у вас уже нет. В этом случае остаток неизрасходованных средств упадет на баланс биллинг- аккаунта. Как видим, что платить приходится за нагрузку посуточно, а не переплачивать за день нагрузки месячным тарифом.

5. Как быть, если я нашел более выгодные условия?
У нас предусмотрен манибек. Это означает, что если в течении первых 10 дней вам хостинг не понравился или не подошел, то мы возвращаем 100% денег оплаченных вами за хостинг у нас. Для этого вам необходимо просто написать тикет в биллинг системе.

6. Что же у нас получилось в итоге?
В итоге мы выяснили что нам надо тариф XM 500 (2.0$) и заначку, на случай, если будет превышен лимит нагрузки (от 0.5$ до 10$)

На самом деле все не так страшно, как написано в заголовке, но тем не менее проблема с роботами поисковиков имеет место быть, создавая владельцам сайтов головную боль вызываемую нагрузкой на их детища.
Как показывает практика наиболее прожорливыми оказались боты следующих систем: yandex, yahoo, msn. Так же есть еще граберы, которые представляются ботами поисковиков, но имеют другой IP и игнорируют правила, прописанные в robots.txt. Таких надо сразу банить по IP адресу.

Итак посмотрим что можно сделать сделать с таким нашествием (атака саранчи отдыхает).
Вариантов не так много, но они есть:
1. Забанить робота
2. Ограничить его частоту посещений
3. Купить себе хороший сервер

Все мы понимаем, что люди приходят на сайты с поисковых систем (и не только), поэтому определяем какие из ПС нам наиболее нужны и полезны. Я считаю что из трех наиболее грузящих это yandex, поэтому банить его крайне не желательно. Воспользуемся ограничением и пропишем для него правило crawl-delay в robots.txt , допустим crawl-delay 2 разрешит роботу обращаться к странице не чаще 1 раза в 2 секунды.
С яшей разобрались, идем дальше.
Лично я вижу траф с yahoo и msn очень мизерным и не нужным, а потому уверен что их можно вообще забанить или прописать для них правило в котором выдавать 500 ошибку. Теперь посмотрим что у нас должно получиться для домена 100mbps.ru:



Список поисковых роботов здесь
Базовый Robots.txt можно создать здесь

Поисковой робот или краулер (от англ. crawler) - программа, являющаяся составной частью поисковой системы, которая обходит страницы Интернета, скачивает ее и заносит в базу поисковика. По своей сути краулер больше всего напоминает обычный браузер. Он сканирует содержимое страницы, забрасывает его на сервер поисковой машины, которой принадлежит, и отправляется по ссылкам на следующие страницы. Глубина проникновения поискового робота внутрь сайта обычно ограничена.

Часто вебмастера сталкиваются с вопросом о юзер-агенте (User-agent) ботов той или иной поисковой системы. Зная значения User-agent для поисковых ботов, можно запретить, либо наоборот, открыть доступ тому или иному боту.















Базовый Robots.txt можно создать здесь

Попробуем разобрать что же у нас может вызывать нагрузку сайта на хостинге.
По роду свое деятельности очень часто сталкиваюсь с тем, что клиенты возмущаются по поводу создаваемой нагрузки, обвиняя во всем либо хостинг, либо администраторов в каких то злых намерениях. Мало кому приходит в голову посмотреть сразу корень проблемы, ну или погуглить на крайний случай. Именно по этому разберем несколько факторов, которые в наше время имеют все возможности на создание высокой нагрузки вашим сайтом.

1. CMS, которые для генерации одной страницы используют большой цикл проводимых операций.
Обычно это CMS, у которых сложная структура страниц/категорий/пользователей/шаблонов, и для генерации каждой страницы требуется выборка большого количества данных из базы. К таковым можно смело причислить CMS Битрикс и CMS Typo3, остальные потребляют куда меньше ресурсов, на те же операции.

2. Не грамотное обращение запросов к MySQL
Чаше всего этой проблемой страдают самописные системы или CMS, на которые по навешали модулей владельцы сайтов. Я знаю два вида таких обращений. Первый, это когда на открытие страницы с каталогом из 10 сайтов требуется не один запрос, а все 10, по запросу на каждый сайт из каталога.
Второй, это когда программисты просто не ставят закрытие сессии после обращения к MySQL, открыло 50 человек страницу с одним запросом. и висят эти запросы постоянно в БД, постепенно накапливаясь и создавая в итоге совсем не маленькую нагрузку.

3. Не оптимизированные скрипты
Тут тоже стоит обратить особое внимание на пару моментов. В первом случае исполнение скрипта проводит очень много функций, таких как не оптимальные методы расчёта, лишние циклы, обработка данных, которые не будут выводиться пользователю, ведение логов, которые никто не будет читать и т.д. Во втором случае, более тяжелом исполнение скрипта проходит с ошибками и способно создать error логи размером до 2 гигабайт за несколько минут использования. Т.е. скрипт работает, даже что то получается, но создаваемая нагрузка получается просто огромной.

4. Поисковые роботы
Роботов сейчас довольно много, и одновременное нашествие сразу даже трёх может вызвать высокую нагрузку на сайт пользователя. Впрочем, при не оптимизированных скриптах достаточно и одного робота. Запрашивая по очереди или одновременно каждую страницу сайта во время обновления своей поисковой базы они способны поставить вас в очень затруднительное положение.

5. Средства монетизации
Давно не секрет, что с сайта можно извлекать прибыль (монетизировать) путем размещения платных ссылок, статей, банеров и т.д. Человеческая алчность очень часто не имеет предела, и увидев что один из способ начал приносить владельцу сайта прибыль, он стремиться подключить все возможные остальные варианты. Теперь давайте прикинем один простой пример на основании размещения ссылок 3 известных бирж. Все мы знаем что биржи используют роботов для проверки наличия размещенных ссылок, а ведь эффект точно такой же как и с поисковыми системами. Дополнительная нагрузка на лицо. Я уже молчу о тизерных и баннерных сетях, где кеширования вообще нет, что увеличивает время выдачи и генерации страницы, соответственно увеличивая и нагрузку.

6. Кеширование
Если на вашем сайте нет кеширования, то запросы будут выполнятся при каждом обращении к странице, что естественно служит еще одним моментом увеличения нагрузки. При включенном кешировании, запросы создаются только один раз, при повторном обращении выдается страница из кеша не создавая дополнительных запросов.

7. Высокая посещаемость
В конце концов, у сайта может быть просто высокая посещаемость. Тогда высокая нагрузка не является чем-то лишним и поправимым, а становится неотъемлемым свойством сайта. Просто Ваш ресурс вырос и стал популярным, поздравляем.

Хостинг (hosting) – это услуга по размещению файлов на специальном сервере организации, предоставляющей подобные услуги. Чаще все услугой хостинга пользуются для размещения сайтов, порталов, сателлитов и т.д. Хотелось бы отметить, что одного хостинга недостаточно, для того что бы ваши сайты были доступны другим людям, вам потребуется домен (адрес в интернете).
Услуга хостинга, это не только место, где хранятся ваши файлы, но инструмент по обеспечению правильной работы специально написанных скриптов или систем управления сайтами.

Бекап - или Резервное копирование ваших данных
Одним из самых больных потерь, является потеря всех ваших сайтов из-за нерадивых хостеров.