Поисковой робот или краулер (от англ. crawler) - программа, являющаяся составной частью поисковой системы, которая обходит страницы Интернета, скачивает ее и заносит в базу поисковика. По своей сути краулер больше всего напоминает обычный браузер. Он сканирует содержимое страницы, забрасывает его на сервер поисковой машины, которой принадлежит, и отправляется по ссылкам на следующие страницы. Глубина проникновения поискового робота внутрь сайта обычно ограничена.

Часто вебмастера сталкиваются с вопросом о юзер-агенте (User-agent) ботов той или иной поисковой системы. Зная значения User-agent для поисковых ботов, можно запретить, либо наоборот, открыть доступ тому или иному боту.















Базовый Robots.txt можно создать здесь

Попробуем разобрать что же у нас может вызывать нагрузку сайта на хостинге.
По роду свое деятельности очень часто сталкиваюсь с тем, что клиенты возмущаются по поводу создаваемой нагрузки, обвиняя во всем либо хостинг, либо администраторов в каких то злых намерениях. Мало кому приходит в голову посмотреть сразу корень проблемы, ну или погуглить на крайний случай. Именно по этому разберем несколько факторов, которые в наше время имеют все возможности на создание высокой нагрузки вашим сайтом.

1. CMS, которые для генерации одной страницы используют большой цикл проводимых операций.
Обычно это CMS, у которых сложная структура страниц/категорий/пользователей/шаблонов, и для генерации каждой страницы требуется выборка большого количества данных из базы. К таковым можно смело причислить CMS Битрикс и CMS Typo3, остальные потребляют куда меньше ресурсов, на те же операции.

2. Не грамотное обращение запросов к MySQL
Чаше всего этой проблемой страдают самописные системы или CMS, на которые по навешали модулей владельцы сайтов. Я знаю два вида таких обращений. Первый, это когда на открытие страницы с каталогом из 10 сайтов требуется не один запрос, а все 10, по запросу на каждый сайт из каталога.
Второй, это когда программисты просто не ставят закрытие сессии после обращения к MySQL, открыло 50 человек страницу с одним запросом. и висят эти запросы постоянно в БД, постепенно накапливаясь и создавая в итоге совсем не маленькую нагрузку.

3. Не оптимизированные скрипты
Тут тоже стоит обратить особое внимание на пару моментов. В первом случае исполнение скрипта проводит очень много функций, таких как не оптимальные методы расчёта, лишние циклы, обработка данных, которые не будут выводиться пользователю, ведение логов, которые никто не будет читать и т.д. Во втором случае, более тяжелом исполнение скрипта проходит с ошибками и способно создать error логи размером до 2 гигабайт за несколько минут использования. Т.е. скрипт работает, даже что то получается, но создаваемая нагрузка получается просто огромной.

4. Поисковые роботы
Роботов сейчас довольно много, и одновременное нашествие сразу даже трёх может вызвать высокую нагрузку на сайт пользователя. Впрочем, при не оптимизированных скриптах достаточно и одного робота. Запрашивая по очереди или одновременно каждую страницу сайта во время обновления своей поисковой базы они способны поставить вас в очень затруднительное положение.

5. Средства монетизации
Давно не секрет, что с сайта можно извлекать прибыль (монетизировать) путем размещения платных ссылок, статей, банеров и т.д. Человеческая алчность очень часто не имеет предела, и увидев что один из способ начал приносить владельцу сайта прибыль, он стремиться подключить все возможные остальные варианты. Теперь давайте прикинем один простой пример на основании размещения ссылок 3 известных бирж. Все мы знаем что биржи используют роботов для проверки наличия размещенных ссылок, а ведь эффект точно такой же как и с поисковыми системами. Дополнительная нагрузка на лицо. Я уже молчу о тизерных и баннерных сетях, где кеширования вообще нет, что увеличивает время выдачи и генерации страницы, соответственно увеличивая и нагрузку.

6. Кеширование
Если на вашем сайте нет кеширования, то запросы будут выполнятся при каждом обращении к странице, что естественно служит еще одним моментом увеличения нагрузки. При включенном кешировании, запросы создаются только один раз, при повторном обращении выдается страница из кеша не создавая дополнительных запросов.

7. Высокая посещаемость
В конце концов, у сайта может быть просто высокая посещаемость. Тогда высокая нагрузка не является чем-то лишним и поправимым, а становится неотъемлемым свойством сайта. Просто Ваш ресурс вырос и стал популярным, поздравляем.

Проверка домена (Whois) - С помощью этого сервиса Вы можете получить всю информаци о домене (если он уже зарегистрирован).

Массовая проверка доменов - Этот очень полезный для вебмастера сервис, для максимально быстрой и комплексной проверки основных параметров множества сайтов.

ТИЦ счетчик для сайта - Кнопка, которая позволит Вам всегда быстро и удобно иметь показатели тИЦ и PR вашего сайта под рукой.

Полная проверка сайта - Этот сервис позволяет получить основную информацию о веб-сайте, такю как значения Яндекс.тИЦ и PR их графические значения информацию о содеражании сайте, наличе в каталогах и пр....

Генератор уникальных описаний и ссылок - Этот инструмент позволяет очень просто сгенерировать большое количество уникальных анкоров или описаний для регистрации в каталогах ссылок.

Анализ текста - Этот сервис поможет Вам максимально точно анализировать текст: длина текста, кол-во слов и количество стоп-слов.

Анализ скорости сайта - Сервис, который позволяет визуально оценить, как быстро ваш вебсайт будет загружаться в браузере у пользователя.

Сайт глазами робота - Воспользовавшись данным сервисом, вы можете увидеть, как выглядит ваш сайт в глазах у поискового бота.

Генерирование Meta Keyword - Этот сервис поможет Вам создать Meta Тег ключевых слов для страницы, сервис собирает информацию с Вашего сайта и генерирует оптимальный набор ключевых слов.

Определение цены ссылки - Данный сервис, позволяет провести быстрый подсчет среднемесячной стоимости ссылки с главной страницы.