Хостинг |  |
|
|
Сервера |  |
|
|
Партнерам |  |
|
|
Прочее |  |
|
|
Запуск нового хостинга.
Уважаемые наши клиенты, хочу сделать небольшой анонс по запуску нового ...
Новые IP для NS доменов
Был поставлен и запущен отдельный DNS сервер.Ранее все находилось и за ...
Обновление ПО на двух серверах
Уважаемые клиенты нашего хостинга, мы произвели обновление и модерниза ...
Даешь VPS
Уважаемые дамы и господа, объявляем открытие акции Даешь VPS!В течении ...
Прогон по социальным закладкам
Администрация хостинга 100mbps.ru поздравляет всех доблестных мужчин с ...
Реселлинг за пол цены
Как и обещали, мы взяли еще один более мощный сервер.В первую очередь ...
|
 |
Поисковой робот или краулер (от англ. crawler) - программа, являющаяся составной частью поисковой системы, которая обходит страницы Интернета, скачивает ее и заносит в базу поисковика. По своей сути краулер больше всего напоминает обычный браузер. Он сканирует содержимое страницы, забрасывает его на сервер поисковой машины, которой принадлежит, и отправляется по ссылкам на следующие страницы. Глубина проникновения поискового робота внутрь сайта обычно ограничена. Часто вебмастера сталкиваются с вопросом о юзер-агенте (User-agent) ботов той или иной поисковой системы. Зная значения User-agent для поисковых ботов, можно запретить, либо наоборот, открыть доступ тому или иному боту. User-agent для Яндекса: Yandex
- Yandex/1.01.001 (compatible; Win16; I) — основной индексирующий робот Яндекса. - Yandex/1.01.001 (compatible; Win16; P) — индексатор картинок. - Yandex/1.01.001 (compatible; Win16; H) — робот, определяющий зеркала сайтов. - Yandex/1.02.000 (compatible; Win16; F) — робот, индексирующий пиктограммы сайтов (favicons) - Yandex/1.03.003 (compatible; Win16; D) — робот, обращающийся к странице при добавлении ее через форму «Добавить URL» - Yandex/1.03.000 (compatible; Win16; M) — робот, обращающийся при открытии страницы по ссылке «Найденные слова» - YaDirectBot/1.0 (compatible; Win16; I) — робот, индексирующий страницы сайтов, участвующих в Рекламной сети Яндекса - YandexBlog/0.99.101 (compatible; DOS3.30,B) – робот, индексирующий xml-файлы для поиска по блогам. - YandexSomething/1.0 – робот, индексирующий новостные потоки партнеров Яндекс-Новостей. - Bond, James Bond (version 0.07) — робот официально никогда не упоминался. Ходит выборочно по страницам. Referer не передает. Картинки не загружает. Предположительно, робот занимается проверкой сайтов на нарушения – клоакинг и т.д.
P-адресов, с которых «ходит» робот Яндекса, много, и они могут меняться. Список адресов не разглашается.
Кроме роботов у Яндекса есть несколько агентов-«простукивалок» (так называемые “дятлы“) , определяющих доступность сайта или документа, по ссылке в соответствующем сервисе.
- Yandex/2.01.000 (compatible; Win16; Dyatel; C) — «простукивалка» Яндекс.Каталога. Если сайт недоступен в течение нескольких дней, он снимается с публикации. Как только сайт начинает отвечать, он автоматически появляется в Каталоге. - Yandex/2.01.000 (compatible; Win16; Dyatel; Z) — «простукивалка» Яндекс.Закладок. Ссылки на недоступные сайты помечаются серым цветом. - Yandex/2.01.000 (compatible; Win16; Dyatel; D) — «простукивалка» Яндекс.Директа. Она проверяет корректность ссылок из объявлений перед модерацией. Никаких автоматических действий не предпринимается. - Yandex/2.01.000 (compatible; Win16; Dyatel; N) — «простукивалка» Яндекс.Новостей. Она формирует отчет для контент-менеджера, который оценивает масштаб проблем и, при необходимости, связывается с партнером.
User-agent для Гугла: Googlebot
- Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) - робот Google, понимающий протокол HTTP 1.1. - Mediapartners-Google - поисковой роботы AdSens - Googlebot-Image (Google) Googlebot-Image/1.0 - Индексатор картинок - Google Search Appliance (Google) gsa-crawler - поисковой робот аппаратного поисковика Search Appliance
User-agent для Рамблера: StackRambler
Поисковая система Рамблер имеет только робота, Ip-адрес которого может лежать в пределах интервала 81.19.64.0 - 81.19.66.255
- StackRambler/2.0 (MSIE incompatible) - StackRambler/2.0
User-agent для Yahoo: Slurp или Yahoo! Slurp
- Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp) - стандартный поисковой робот. - Mozilla/5.0 (compatible; Yahoo! Slurp/3.0; http://help.yahoo.com/help/us/ysearch/slurp) - новый поисковой робот Yahoo 3-го поколения, работает также как и предыдущий.
User-agent для MSN: MSNBot
- msnbot/1.1 (+http://search.msn.com/msnbot.htm) - основной индексирующий робот MSN. - msnbot-media/1.0 (+http://search.msn.com/msnbot.htm) - робот поиска по изображениям. - msnbot-media/1.1 (+http://search.msn.com/msnbot.htm) - робот поиска по изображениям. - msnbot-news (+http://search.msn.com/msnbot.htm) - новостной робот.
User-agent для Alexa: ia_archiver
- ia_archiver (+http://www.alexa.com/site/help/webmasters; crawler@alexa.com) - индексирующий робот Alexa, ему же мы обязаны попаданием в web.archive.org
Базовый Robots.txt можно создать здесь |
теги: Статьи хостинг, робот, compatible, Win16, Useragent, индексирующий, Яндекса, поисковой, роботы, Поисковые, Yahoo, Google, страницы, Yandex201000, сайтов
Попробуем разобрать что же у нас может вызывать нагрузку сайта на хостинге. По роду свое деятельности очень часто сталкиваюсь с тем, что клиенты возмущаются по поводу создаваемой нагрузки, обвиняя во всем либо хостинг, либо администраторов в каких то злых намерениях. Мало кому приходит в голову посмотреть сразу корень проблемы, ну или погуглить на крайний случай. Именно по этому разберем несколько факторов, которые в наше время имеют все возможности на создание высокой нагрузки вашим сайтом.
1. CMS, которые для генерации одной страницы используют большой цикл проводимых операций. Обычно это CMS, у которых сложная структура страниц/категорий/пользователей/шаблонов, и для генерации каждой страницы требуется выборка большого количества данных из базы. К таковым можно смело причислить CMS Битрикс и CMS Typo3, остальные потребляют куда меньше ресурсов, на те же операции.
2. Не грамотное обращение запросов к MySQL Чаше всего этой проблемой страдают самописные системы или CMS, на которые по навешали модулей владельцы сайтов. Я знаю два вида таких обращений. Первый, это когда на открытие страницы с каталогом из 10 сайтов требуется не один запрос, а все 10, по запросу на каждый сайт из каталога. Второй, это когда программисты просто не ставят закрытие сессии после обращения к MySQL, открыло 50 человек страницу с одним запросом. и висят эти запросы постоянно в БД, постепенно накапливаясь и создавая в итоге совсем не маленькую нагрузку.
3. Не оптимизированные скрипты Тут тоже стоит обратить особое внимание на пару моментов. В первом случае исполнение скрипта проводит очень много функций, таких как не оптимальные методы расчёта, лишние циклы, обработка данных, которые не будут выводиться пользователю, ведение логов, которые никто не будет читать и т.д. Во втором случае, более тяжелом исполнение скрипта проходит с ошибками и способно создать error логи размером до 2 гигабайт за несколько минут использования. Т.е. скрипт работает, даже что то получается, но создаваемая нагрузка получается просто огромной.
4. Поисковые роботы Роботов сейчас довольно много, и одновременное нашествие сразу даже трёх может вызвать высокую нагрузку на сайт пользователя. Впрочем, при не оптимизированных скриптах достаточно и одного робота. Запрашивая по очереди или одновременно каждую страницу сайта во время обновления своей поисковой базы они способны поставить вас в очень затруднительное положение.
5. Средства монетизации Давно не секрет, что с сайта можно извлекать прибыль (монетизировать) путем размещения платных ссылок, статей, банеров и т.д. Человеческая алчность очень часто не имеет предела, и увидев что один из способ начал приносить владельцу сайта прибыль, он стремиться подключить все возможные остальные варианты. Теперь давайте прикинем один простой пример на основании размещения ссылок 3 известных бирж. Все мы знаем что биржи используют роботов для проверки наличия размещенных ссылок, а ведь эффект точно такой же как и с поисковыми системами. Дополнительная нагрузка на лицо. Я уже молчу о тизерных и баннерных сетях, где кеширования вообще нет, что увеличивает время выдачи и генерации страницы, соответственно увеличивая и нагрузку.
6. Кеширование Если на вашем сайте нет кеширования, то запросы будут выполнятся при каждом обращении к странице, что естественно служит еще одним моментом увеличения нагрузки. При включенном кешировании, запросы создаются только один раз, при повторном обращении выдается страница из кеша не создавая дополнительных запросов.
7. Высокая посещаемость В конце концов, у сайта может быть просто высокая посещаемость. Тогда высокая нагрузка не является чем-то лишним и поправимым, а становится неотъемлемым свойством сайта. Просто Ваш ресурс вырос и стал популярным, поздравляем. |
теги: Хелпер по хостингу, сайта, которые, нагрузку, очень, страницы, просто, время, запросы, нагрузки, ссылок, генерации, нагрузка, может, данных, требуется, кеширования, используют, обращении, много, скрипта
Проверка домена (Whois) - С помощью этого сервиса Вы можете получить всю информаци о домене (если он уже зарегистрирован).
Массовая проверка доменов - Этот очень полезный для вебмастера сервис, для максимально быстрой и комплексной проверки основных параметров множества сайтов.
ТИЦ счетчик для сайта - Кнопка, которая позволит Вам всегда быстро и удобно иметь показатели тИЦ и PR вашего сайта под рукой.
Полная проверка сайта - Этот сервис позволяет получить основную информацию о веб-сайте, такю как значения Яндекс.тИЦ и PR их графические значения информацию о содеражании сайте, наличе в каталогах и пр....
Генератор уникальных описаний и ссылок - Этот инструмент позволяет очень просто сгенерировать большое количество уникальных анкоров или описаний для регистрации в каталогах ссылок.
Анализ текста - Этот сервис поможет Вам максимально точно анализировать текст: длина текста, кол-во слов и количество стоп-слов.
Анализ скорости сайта - Сервис, который позволяет визуально оценить, как быстро ваш вебсайт будет загружаться в браузере у пользователя.
Сайт глазами робота - Воспользовавшись данным сервисом, вы можете увидеть, как выглядит ваш сайт в глазах у поискового бота.
Генерирование Meta Keyword - Этот сервис поможет Вам создать Meta Тег ключевых слов для страницы, сервис собирает информацию с Вашего сайта и генерирует оптимальный набор ключевых слов.
Определение цены ссылки - Данный сервис, позволяет провести быстрый подсчет среднемесячной стоимости ссылки с главной страницы. |
теги: SEO Инструменты, seo, сайта, позволяет, информацию, максимально, каталогах, значения, быстро, уникальных, описаний, страницы, ссылки, ключевых, поможет, Анализ, текста, количество, ссылок, получить, можете
|