Госсайты прячутся от поисковиков

Около 3,5% сайтов зоны .gov запрещают всем поисковым роботам индексировать свои страницы. Это удалось выяснить членам некоммерческой организации CommonCrawl Foundation, разработавшим специальный бот ccBot.

Как сообщает один из руководителей этой организации и известный защитник информации, являющейся общественным достоянием, Карл Маламуд (Carl Malamud), Из 32 000 поддоменов зоны .gov по крайней мере 1188 содержат robots.txt с инструкцией, запрещающей любым "паукам" индексировать страницы расположенных на этих доменах сайтов.

По мнению Маламуда, robots.txt должен использоваться на государственных сайтах только в целях безопасности и открытости, а не потому, что какой-то там вебмастер своевольно решил, что их не нужно индексировать. Маламуд также отметил, что в некоторых случаях их ccBot намеренно игнорировал такие инструкции, "поскольку нам показалось, что это было своевольной и незаконной попыткой не допустить общественность".

"Ещё более любопытно, — отмечает Маламуд, — что на 175 из этих сайтов, несмотря на глобальный запрет, имеется специальная обходная инструкция для Googlebot, позволяющая ему индексировать данные".

Маламуд не видит большого смысла в том, чтобы допускать к информации только некоторых роботов-пауков, а остальных "не пущать".

Отметим, впрочем, что некоторые поисковые боты отличаются гиперактивностью, которая может оказать на сайт существенную нагрузку. Не говоря уже о том, что отдельным роботам вообще никакой robots.txt не указ.

Что до российских государственных сайтов, то здесь царит практически повсеместная гласность и открытость. Файлом robots.txt здесь вообще не пользуются, за редкими исключениями — например, на сайтах Министерства иностранных дел и Генеральной прокуратуры. Но и здесь блокировку нельзя назвать тотальной. Так, на сайте МИД всем поисковикам запрещается индексировать лишь определённые разделы, а в опале по какой-то причине находится только китайский YodaoBot.

С другой стороны, российские госсайты используют более надежные способы сокрытия информации - например, они просто не публикуют ее. Кроме того, в этом году получил известность такой трюк пессимизации, как замена некоторых русских букв на латинские - благодаря этому некоторые госзаказы оказались невидимы для поисковиков.


Игорь Крейн, Вебпланета


!

Если для Вас конкретно эта новость оказалась важной или интересной - пожалуйста, поделитесь ею в своей любимой социальной сети с помощью кнопок, расположенных под этим текстом. Это поможет нам в будущем делать более качественную подборку материалов, исходя из Ваших потребностей\интересов.




Коды для вставки в блог\форум

blog comments powered by Disqus


Вспомним другие новости из этого раздела?


Internet и сети

←+Ctrl+→

Интересные новости
Google заявил, что не убирал «углублённые» статьи из выдачиGoogle заявил, что не убирал «углублённые» статьи из выдачи
Instagram тестирует возможность совершения покупок внутри приложенияInstagram тестирует возможность совершения покупок внутри приложения
В Чехии действовал центр роSSийских кибератак, - СМИВ Чехии действовал центр роSSийских кибератак, - СМИ
Facebook восстановил работу своих сервисов после суточного сбояFacebook восстановил работу своих сервисов после суточного сбоя
Dropbox ограничил бесплатный доступ тремя устройствами на аккаунтDropbox ограничил бесплатный доступ тремя устройствами на аккаунт
Блок рекламы


Похожие новости

9 специализированных поисковиков, которые по-своему лучше Google9 специализированных поисковиков, которые по-своему лучше Google
В Москве судят создателей поисковиков проститутокВ Москве судят создателей поисковиков проституток
Кабмин обяжет модернизировать госсайты для граждан с нарушением слуха и зрения
Из ТОПа поисковиков в ТОП продажИз ТОПа поисковиков в ТОП продаж
Артем Мазурчак, biz-cen.ru: «Ниша вертикальных поисковиков будет только набирать обороты»Артем Мазурчак, biz-cen.ru: «Ниша вертикальных поисковиков будет только набирать обороты»
Anonymous атаковали китайские госсайты и рассказали в Сети, как обойти тамошнюю Интернет-цензуруAnonymous атаковали китайские госсайты и рассказали в Сети, как обойти тамошнюю Интернет-цензуру
Госсайты «заказали» за $20 тыс., разъяренные пользователи не виноваты
"Яндекс" вошел в пятерку самых популярных поисковиков мира"Яндекс" вошел в пятерку самых популярных поисковиков мира
«В Контакте» разрешила скрывать личные страницы от поисковиков
Данные о покупках в интернете нашлись у нескольких крупных поисковиковДанные о покупках в интернете нашлись у нескольких крупных поисковиков
Последние новости

Подгружаем последние новости