Хостинг для сайтов и сателлитов
  Формы авторизации для ситемы биллинга, пртнерской программы, и панели вебмастера
Вход в систему биллинга
Логин:
Пароль:

Управление пратнерской программой
Логин:
Пароль:



Панель вебмастера
Логин:
Пароль:


Хостинг, который рекомендуют...

Хостинг


Сервера


Партнерам


Прочее


Запуск нового хостинга.

Новые IP для NS доменов

Обновление ПО на двух серверах



Даешь VPS

Прогон по социальным закладкам

Реселлинг за пол цены



Toolbar 100mbps.ru  XM 50 - 0,40$/mec Money Back 100%

18 июня 2009

Поисковой робот или краулер (от англ. crawler) - программа, являющаяся составной частью поисковой системы, которая обходит страницы Интернета, скачивает ее и заносит в базу поисковика. По своей сути краулер больше всего напоминает обычный браузер. Он сканирует содержимое страницы, забрасывает его на сервер поисковой машины, которой принадлежит, и отправляется по ссылкам на следующие страницы. Глубина проникновения поискового робота внутрь сайта обычно ограничена.

Часто вебмастера сталкиваются с вопросом о юзер-агенте (User-agent) ботов той или иной поисковой системы. Зная значения User-agent для поисковых ботов, можно запретить, либо наоборот, открыть доступ тому или иному боту.















Базовый Robots.txt можно создать здесь