Google: блокировка страницы в robots.txt может не сработать, если на неё есть ссылки

Во время последней видеовстречи для вебмастеров сотрудник Google Джон Мюллер предупредил, что заблокированные в robot.txt страницы могут по-прежнему индексироваться при наличии ссылок, указывающих на них.

И это может стать проблемой, поскольку в данном случае Google будет видеть эти страницы как не имеющие контента из-за блокировки от сканирования.

По словам Мюллера, если на сайте есть контент, который по той или иной причине нужно скрыть от Google, то лучше всего использовать метатег noindex.

«Стоит помнить, что если эти страницы заблокированы в robots.txt, тогда теоретически возможна ситуация, когда кто-то случайно сошлётся на одну из них. И если это произойдёт, то мы можем индексировать эту страницу без контента, поскольку она заблокирована в robots.txt…

Поэтому, если на этих страницах есть что-то, что вы не хотите, чтобы было проиндексировано, тогда не отклоняйте их, а используйте метатег noindex», — заявил гуглер.

Прослушать вопрос к Мюллеру и его ответ на него можно, начиная с отметки 24:36 на видео:

Напомним, что Google не рекомендует закрывать страницу в robots.txt, если на ней уже есть атрибут noindex. А в 2016 году Джон Мюллер рассказал, как как ускорить индексирование новой версии файла robots.txt.



Коды для вставки в блог\форум

blog comments powered by Disqus


Вспомним другие новости из этого раздела?


Internet и сети

←+Ctrl+→

Интересные новости
Владелец WordPress покупает Tumblr за $3 млн. Шесть лет назад платформу оценивали в $1,1 млрдВладелец WordPress покупает Tumblr за $3 млн. Шесть лет назад платформу оценивали в $1,1 млрд
СБУ устранила последствия кибератаки на Черноморской ТРКСБУ устранила последствия кибератаки на Черноморской ТРК
Google рассказал, какие уроки вынес из последних сбоев в индексированииGoogle рассказал, какие уроки вынес из последних сбоев в индексировании
В Днепре запустили «Кабинет жителя». В нем нашли угрозу персональным даннымВ Днепре запустили «Кабинет жителя». В нем нашли угрозу персональным данным
Работники Google требуют отказа компании от сотрудничества с пограничными службами СШАРаботники Google требуют отказа компании от сотрудничества с пограничными службами США
Блок рекламы


Похожие новости

Google: 1,5% всех учётных данных в интернете являются скомпрометированнымиGoogle: 1,5% всех учётных данных в интернете являются скомпрометированными
Pokupon продает сервис доставки еды Raketa. Он может стоить до $500 000
Google Partners убирает специализацию по мобильной рекламеGoogle Partners убирает специализацию по мобильной рекламе
Google может начать оповещать вебмастеров об удалении featured snippetsGoogle может начать оповещать вебмастеров об удалении featured snippets
Доля no-click запросов к Google впервые превысила 50%: что это значитДоля no-click запросов к Google впервые превысила 50%: что это значит
Работники Google требуют отказа компании от сотрудничества с пограничными службами СШАРаботники Google требуют отказа компании от сотрудничества с пограничными службами США
Google: размещение контента на чужих поддоменах не нарушает наши правилаGoogle: размещение контента на чужих поддоменах не нарушает наши правила
Google разрешил рекламу фэнтези-спорта в СШАGoogle разрешил рекламу фэнтези-спорта в США
SparkToro: более 50% поисковых сессий в Google заканчиваются без переходов на сайтыSparkToro: более 50% поисковых сессий в Google заканчиваются без переходов на сайты
Google тестирует более крупный шрифт в результатах поискаGoogle тестирует более крупный шрифт в результатах поиска
Последние новости

Подгружаем последние новости