Хостинг |  |
|
|
Сервера |  |
|
|
Партнерам |  |
|
|
Прочее |  |
|
|
Запуск нового хостинга.
Уважаемые наши клиенты, хочу сделать небольшой анонс по запуску нового ...
Новые IP для NS доменов
Был поставлен и запущен отдельный DNS сервер.Ранее все находилось и за ...
Обновление ПО на двух серверах
Уважаемые клиенты нашего хостинга, мы произвели обновление и модерниза ...
Даешь VPS
Уважаемые дамы и господа, объявляем открытие акции Даешь VPS!В течении ...
Прогон по социальным закладкам
Администрация хостинга 100mbps.ru поздравляет всех доблестных мужчин с ...
Реселлинг за пол цены
Как и обещали, мы взяли еще один более мощный сервер.В первую очередь ...
|
 |
На самом деле все не так страшно, как написано в заголовке, но тем не менее проблема с роботами поисковиков имеет место быть, создавая владельцам сайтов головную боль вызываемую нагрузкой на их детища. Как показывает практика наиболее прожорливыми оказались боты следующих систем: yandex, yahoo, msn. Так же есть еще граберы, которые представляются ботами поисковиков, но имеют другой IP и игнорируют правила, прописанные в robots.txt. Таких надо сразу банить по IP адресу. Итак посмотрим что можно сделать сделать с таким нашествием (атака саранчи отдыхает). Вариантов не так много, но они есть: 1. Забанить робота 2. Ограничить его частоту посещений 3. Купить себе хороший сервер Все мы понимаем, что люди приходят на сайты с поисковых систем (и не только), поэтому определяем какие из ПС нам наиболее нужны и полезны. Я считаю что из трех наиболее грузящих это yandex, поэтому банить его крайне не желательно. Воспользуемся ограничением и пропишем для него правило crawl-delay в robots.txt , допустим crawl-delay 2 разрешит роботу обращаться к странице не чаще 1 раза в 2 секунды. С яшей разобрались, идем дальше. Лично я вижу траф с yahoo и msn очень мизерным и не нужным, а потому уверен что их можно вообще забанить или прописать для них правило в котором выдавать 500 ошибку. Теперь посмотрим что у нас должно получиться для домена 100mbps.ru: #main section User-agent:* Crawl-delay: 1 # End of main section Host: 100mbps.ru
User-agent: yahoo-mmcrawler Disallow: / User-agent: yahoo Disallow: / User-agent: psbot Disallow: / User-agent: msnbot Disallow: / User-agent: msnbot-media Disallow: / User-agent: msnbot-news Disallow: / Список поисковых роботов здесьБазовый Robots.txt можно создать здесь |
теги: Статьи хостинг, Useragent, Disallow, yahoo, наиболее, crawldelay, сделать, robotstxt, yandex, систем, можно, правило, section, банить, поэтому, 100mbpsru, поисковиков, посмотрим, странице, допустим, разрешит
Попробую рассказать как наиболее эффективно и быстро заливать файлы на хостинг. К примеру мы имеем желание установить на хостинг одну из популярных cms (DataLife Engine 8.0). Папка с дистрибутивом имеет 1020 файлов(4.36mb) и поверьте моему опыту, будет закачиваться очень долго. Поэтому делаем так, как я покажу. 1. Упаковываем файлы в zip архив. 2. Подключаемся к хостингу через любой фтп клиент и закачиваем полученный архив на сервер. как видим архив весит 2mb вместо четырех с половиной, что уже хорошо. 3. После успешной заливки архива на хостинг заходим в cPanel, в диспетчер файлов 5. Ставим галочку напротив нашего архива и нажимаем извлечь. 6. После успешного извлечения удаляем архив, он нам больше не нужен. (только место занимает) 7. Выставляем необходимые права на папки и файлы, и смело переходим к установке Описывать установку здесь не буду. т.к. мы рассматривали момент заливки файлов. Хочу отметить что я на урок потратил 7 минут с учетом проведения параллельно всех описываемых действий. Если на это не отвлекаться, то думаю можно уложиться минуты за три. Желаю всем удачи в сайтостроении. |
теги: Хелпер по хостингу, файлы, хостинг, архив, скриншот, показать, Упаковываем, покажу, делаем, закачиваться, очень, долго, Поэтому, Подключаемся, закачиваем, полученный, сервер, клиент, любой, хостингу, через
|