|
Хостинг |  |
|
|
|
Сервера |  |
|
|
|
Партнерам |  |
|
|
|
Прочее |  |
|
|
|
Запуск нового хостинга.
Уважаемые наши клиенты, хочу сделать небольшой анонс по запуску нового ...
Новые IP для NS доменов
Был поставлен и запущен отдельный DNS сервер.Ранее все находилось и за ...
Обновление ПО на двух серверах
Уважаемые клиенты нашего хостинга, мы произвели обновление и модерниза ...
Даешь VPS
Уважаемые дамы и господа, объявляем открытие акции Даешь VPS!В течении ...
Прогон по социальным закладкам
Администрация хостинга 100mbps.ru поздравляет всех доблестных мужчин с ...
Реселлинг за пол цены
Как и обещали, мы взяли еще один более мощный сервер.В первую очередь ...
|
 |
На самом деле все не так страшно, как написано в заголовке, но тем не менее проблема с роботами поисковиков имеет место быть, создавая владельцам сайтов головную боль вызываемую нагрузкой на их детища. Как показывает практика наиболее прожорливыми оказались боты следующих систем: yandex, yahoo, msn. Так же есть еще граберы, которые представляются ботами поисковиков, но имеют другой IP и игнорируют правила, прописанные в robots.txt. Таких надо сразу банить по IP адресу. Итак посмотрим что можно сделать сделать с таким нашествием (атака саранчи отдыхает). Вариантов не так много, но они есть: 1. Забанить робота 2. Ограничить его частоту посещений 3. Купить себе хороший сервер Все мы понимаем, что люди приходят на сайты с поисковых систем (и не только), поэтому определяем какие из ПС нам наиболее нужны и полезны. Я считаю что из трех наиболее грузящих это yandex, поэтому банить его крайне не желательно. Воспользуемся ограничением и пропишем для него правило crawl-delay в robots.txt , допустим crawl-delay 2 разрешит роботу обращаться к странице не чаще 1 раза в 2 секунды. С яшей разобрались, идем дальше. Лично я вижу траф с yahoo и msn очень мизерным и не нужным, а потому уверен что их можно вообще забанить или прописать для них правило в котором выдавать 500 ошибку. Теперь посмотрим что у нас должно получиться для домена 100mbps.ru: #main section
User-agent:*
Crawl-delay: 1
# End of main section
Host: 100mbps.ru
User-agent: yahoo-mmcrawler
Disallow: /
User-agent: yahoo
Disallow: /
User-agent: psbot
Disallow: /
User-agent: msnbot
Disallow: /
User-agent: msnbot-media
Disallow: /
User-agent: msnbot-news
Disallow: / Список поисковых роботов здесьБазовый Robots.txt можно создать здесь |
теги: Статьи хостинг, Useragent, Disallow, yahoo, наиболее, crawldelay, сделать, robotstxt, yandex, систем, можно, правило, section, банить, поэтому, 100mbpsru, поисковиков, посмотрим, странице, допустим, разрешит
Поисковой робот или краулер (от англ. crawler) - программа, являющаяся составной частью поисковой системы, которая обходит страницы Интернета, скачивает ее и заносит в базу поисковика. По своей сути краулер больше всего напоминает обычный браузер. Он сканирует содержимое страницы, забрасывает его на сервер поисковой машины, которой принадлежит, и отправляется по ссылкам на следующие страницы. Глубина проникновения поискового робота внутрь сайта обычно ограничена. Часто вебмастера сталкиваются с вопросом о юзер-агенте (User-agent) ботов той или иной поисковой системы. Зная значения User-agent для поисковых ботов, можно запретить, либо наоборот, открыть доступ тому или иному боту.
User-agent для Яндекса: Yandex
- Yandex/1.01.001 (compatible; Win16; I) — основной индексирующий робот Яндекса.
- Yandex/1.01.001 (compatible; Win16; P) — индексатор картинок.
- Yandex/1.01.001 (compatible; Win16; H) — робот, определяющий зеркала сайтов.
- Yandex/1.02.000 (compatible; Win16; F) — робот, индексирующий пиктограммы сайтов (favicons)
- Yandex/1.03.003 (compatible; Win16; D) — робот, обращающийся к странице при добавлении ее через форму «Добавить URL»
- Yandex/1.03.000 (compatible; Win16; M) — робот, обращающийся при открытии страницы по ссылке «Найденные слова»
- YaDirectBot/1.0 (compatible; Win16; I) — робот, индексирующий страницы сайтов, участвующих в Рекламной сети Яндекса
- YandexBlog/0.99.101 (compatible; DOS3.30,B) – робот, индексирующий xml-файлы для поиска по блогам.
- YandexSomething/1.0 – робот, индексирующий новостные потоки партнеров Яндекс-Новостей.
- Bond, James Bond (version 0.07) — робот официально никогда не упоминался. Ходит выборочно по страницам. Referer не передает. Картинки не загружает. Предположительно, робот занимается проверкой сайтов на нарушения – клоакинг и т.д.
P-адресов, с которых «ходит» робот Яндекса, много, и они могут меняться. Список адресов не разглашается.
Кроме роботов у Яндекса есть несколько агентов-«простукивалок» (так называемые “дятлы“) , определяющих доступность сайта или документа, по ссылке в соответствующем сервисе.
- Yandex/2.01.000 (compatible; Win16; Dyatel; C) — «простукивалка» Яндекс.Каталога. Если сайт недоступен в течение нескольких дней, он снимается с публикации. Как только сайт начинает отвечать, он автоматически появляется в Каталоге.
- Yandex/2.01.000 (compatible; Win16; Dyatel; Z) — «простукивалка» Яндекс.Закладок. Ссылки на недоступные сайты помечаются серым цветом.
- Yandex/2.01.000 (compatible; Win16; Dyatel; D) — «простукивалка» Яндекс.Директа. Она проверяет корректность ссылок из объявлений перед модерацией. Никаких автоматических действий не предпринимается.
- Yandex/2.01.000 (compatible; Win16; Dyatel; N) — «простукивалка» Яндекс.Новостей. Она формирует отчет для контент-менеджера, который оценивает масштаб проблем и, при необходимости, связывается с партнером.
User-agent для Гугла: Googlebot
- Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) - робот Google, понимающий протокол HTTP 1.1.
- Mediapartners-Google - поисковой роботы AdSens
- Googlebot-Image (Google) Googlebot-Image/1.0 - Индексатор картинок
- Google Search Appliance (Google) gsa-crawler - поисковой робот аппаратного поисковика Search Appliance
User-agent для Рамблера: StackRambler
Поисковая система Рамблер имеет только робота, Ip-адрес которого может лежать в пределах интервала 81.19.64.0 - 81.19.66.255
- StackRambler/2.0 (MSIE incompatible)
- StackRambler/2.0
User-agent для Yahoo: Slurp или Yahoo! Slurp
- Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp) - стандартный поисковой робот.
- Mozilla/5.0 (compatible; Yahoo! Slurp/3.0; http://help.yahoo.com/help/us/ysearch/slurp) - новый поисковой робот Yahoo 3-го поколения, работает также как и предыдущий.
User-agent для MSN: MSNBot
- msnbot/1.1 (+http://search.msn.com/msnbot.htm) - основной индексирующий робот MSN.
- msnbot-media/1.0 (+http://search.msn.com/msnbot.htm) - робот поиска по изображениям.
- msnbot-media/1.1 (+http://search.msn.com/msnbot.htm) - робот поиска по изображениям.
- msnbot-news (+http://search.msn.com/msnbot.htm) - новостной робот.
User-agent для Alexa: ia_archiver
- ia_archiver (+http://www.alexa.com/site/help/webmasters; crawler@alexa.com) - индексирующий робот Alexa, ему же мы обязаны попаданием в web.archive.org
Базовый Robots.txt можно создать здесь |
теги: Статьи хостинг, робот, compatible, Win16, Useragent, индексирующий, Яндекса, поисковой, роботы, Поисковые, Yahoo, Google, страницы, Yandex201000, сайтов
|
Поисковые роботы Яндекса (Yandex)