Госсайты прячутся от поисковиков

Около 3,5% сайтов зоны .gov запрещают всем поисковым роботам индексировать свои страницы. Это удалось выяснить членам некоммерческой организации CommonCrawl Foundation, разработавшим специальный бот ccBot.

Как сообщает один из руководителей этой организации и известный защитник информации, являющейся общественным достоянием, Карл Маламуд (Carl Malamud), Из 32 000 поддоменов зоны .gov по крайней мере 1188 содержат robots.txt с инструкцией, запрещающей любым "паукам" индексировать страницы расположенных на этих доменах сайтов.

По мнению Маламуда, robots.txt должен использоваться на государственных сайтах только в целях безопасности и открытости, а не потому, что какой-то там вебмастер своевольно решил, что их не нужно индексировать. Маламуд также отметил, что в некоторых случаях их ccBot намеренно игнорировал такие инструкции, "поскольку нам показалось, что это было своевольной и незаконной попыткой не допустить общественность".

"Ещё более любопытно, — отмечает Маламуд, — что на 175 из этих сайтов, несмотря на глобальный запрет, имеется специальная обходная инструкция для Googlebot, позволяющая ему индексировать данные".

Маламуд не видит большого смысла в том, чтобы допускать к информации только некоторых роботов-пауков, а остальных "не пущать".

Отметим, впрочем, что некоторые поисковые боты отличаются гиперактивностью, которая может оказать на сайт существенную нагрузку. Не говоря уже о том, что отдельным роботам вообще никакой robots.txt не указ.

Что до российских государственных сайтов, то здесь царит практически повсеместная гласность и открытость. Файлом robots.txt здесь вообще не пользуются, за редкими исключениями — например, на сайтах Министерства иностранных дел и Генеральной прокуратуры. Но и здесь блокировку нельзя назвать тотальной. Так, на сайте МИД всем поисковикам запрещается индексировать лишь определённые разделы, а в опале по какой-то причине находится только китайский YodaoBot.

С другой стороны, российские госсайты используют более надежные способы сокрытия информации - например, они просто не публикуют ее. Кроме того, в этом году получил известность такой трюк пессимизации, как замена некоторых русских букв на латинские - благодаря этому некоторые госзаказы оказались невидимы для поисковиков.


Игорь Крейн, Вебпланета


!

Если для Вас конкретно эта новость оказалась важной или интересной - пожалуйста, поделитесь ею в своей любимой социальной сети с помощью кнопок, расположенных под этим текстом. Это поможет нам в будущем делать более качественную подборку материалов, исходя из Ваших потребностей\интересов.




Коды для вставки в блог\форум

blog comments powered by Disqus


Вспомним другие новости из этого раздела?


Internet и сети

←+Ctrl+→

Интересные новости
Австралийская блогер притворилась больной раком, чтобы люди покупали ее книгу. А на прибыль накупила криптовалютуАвстралийская блогер притворилась больной раком, чтобы люди покупали ее книгу. А на прибыль накупила криптовалюту
Google отслеживает покупки пользователей с помощью GmailGoogle отслеживает покупки пользователей с помощью Gmail
У 49 млн Instagram-звезд собрали контакты и выложили в онлайн
Google Сайты получили обновлённый футерGoogle Сайты получили обновлённый футер
Пользователи больше доверяют сайтам компаний, чем GMB – исследованиеПользователи больше доверяют сайтам компаний, чем GMB – исследование
Блок рекламы


Похожие новости

9 специализированных поисковиков, которые по-своему лучше Google9 специализированных поисковиков, которые по-своему лучше Google
В Москве судят создателей поисковиков проститутокВ Москве судят создателей поисковиков проституток
Кабмин обяжет модернизировать госсайты для граждан с нарушением слуха и зрения
Из ТОПа поисковиков в ТОП продажИз ТОПа поисковиков в ТОП продаж
Артем Мазурчак, biz-cen.ru: «Ниша вертикальных поисковиков будет только набирать обороты»Артем Мазурчак, biz-cen.ru: «Ниша вертикальных поисковиков будет только набирать обороты»
Anonymous атаковали китайские госсайты и рассказали в Сети, как обойти тамошнюю Интернет-цензуруAnonymous атаковали китайские госсайты и рассказали в Сети, как обойти тамошнюю Интернет-цензуру
Госсайты «заказали» за $20 тыс., разъяренные пользователи не виноваты
"Яндекс" вошел в пятерку самых популярных поисковиков мира"Яндекс" вошел в пятерку самых популярных поисковиков мира
«В Контакте» разрешила скрывать личные страницы от поисковиков
Данные о покупках в интернете нашлись у нескольких крупных поисковиковДанные о покупках в интернете нашлись у нескольких крупных поисковиков
Последние новости

Подгружаем последние новости