Популярный американский хостер забанил ботов "Яндекса"

Российские вебмастера обнаружили, что популярный (среди них) американский хостер Hostgator.com банит ботов "Яндекса", которые индексируют их сайты. Обсуждение этого новшества началось сегодня на форуме Searchengines.

Одному из владельцев российского сайта, размещенного на Hostgator, служба поддержки ответила, что блокировка ботов связана с высокими нагрузками, которые создаются этими ботами; кроме того, боты российского поисковика долбят с множества разных IP-адресов, и все это "плохо для наших сервисов". Возможно, этим объясняется тот факт, что хостинговая компания банит не всех пауков "Яндекса", и не постоянно, а в отдельные периоды.

Однако другому пострадавшему в ответ на заявление "Яндекс является ведущим поисковиком в России" саппорт хостера ответил поинтереснее: "У нас партнерство с Google". Детали этого партнерства неизвестны, но на форуме уже прозвучала шутка о том, что российский хостинг "напрягся в ожидании аналогичного предложения от Yandex".

Идея может оказаться нешуточной, особенно если вспомнить, что в прошлом году социальная сеть Facebook объявила о партнерстве с поисковиком Bing - и при этом поругалась с Google. А поисковик "Яндекс", в свою очередь, договорился с социальной сетью "Вконтакте" о прямой передаче пользовательских данных. Детали этих договоров неизвестны, но это как раз те случаи, когда поисковики отдельно договариваются с хостерами, которые раньше не пускали их к себе. И очевидно, теперь эти хостеры получают дополнительные бонусы от поисковиков за "право на вход" (в то время как остальные терпят паразитные набеги робопауков за просто так).

Напомним, что идею брать деньги с назойливых поисковых ботов мы озвучили на "Вебпланете" еще в 2007 году. В статье "Поведенческий таргетинг: стрельба по чайникам" было замечено, что выслеживать в Интернете роботов легче, чем людей. Был даже описан механизм заработка на этой форме поведенческого таргетинга:

"Эдакая система "Ботун", которая стоит на стороне хостера/владельца контента и вычисляет, чей бот и сколько раз приходил покушать. Ну и вычисляет его должок по системе pay per scan. Здесь, кстати, отлично применим "метод налоговой службы", о котором говорилось выше. Всех посетителей необязательно заставлять платить. Ведь самые въедливые и долгоиграющие боты создаются богатыми компаниями. "Вебальта" так много рассказывала о своих планах на мировое господство! Значит, ее бешеного бота и нужно обложить самым достойным налогом. Плюс "Гугл", плюс "Яндекс". С робота по нитке - голому человеку рубаха. По-моему, очень гуманно".