Google: блокировка страницы в robots.txt может не сработать, если на неё есть ссылки

Во время последней видеовстречи для вебмастеров сотрудник Google Джон Мюллер предупредил, что заблокированные в robot.txt страницы могут по-прежнему индексироваться при наличии ссылок, указывающих на них.

И это может стать проблемой, поскольку в данном случае Google будет видеть эти страницы как не имеющие контента из-за блокировки от сканирования.

По словам Мюллера, если на сайте есть контент, который по той или иной причине нужно скрыть от Google, то лучше всего использовать метатег noindex.

«Стоит помнить, что если эти страницы заблокированы в robots.txt, тогда теоретически возможна ситуация, когда кто-то случайно сошлётся на одну из них. И если это произойдёт, то мы можем индексировать эту страницу без контента, поскольку она заблокирована в robots.txt…

Поэтому, если на этих страницах есть что-то, что вы не хотите, чтобы было проиндексировано, тогда не отклоняйте их, а используйте метатег noindex», — заявил гуглер.

Прослушать вопрос к Мюллеру и его ответ на него можно, начиная с отметки 24:36 на видео:

Напомним, что Google не рекомендует закрывать страницу в robots.txt, если на ней уже есть атрибут noindex. А в 2016 году Джон Мюллер рассказал, как как ускорить индексирование новой версии файла robots.txt.