Google: блокировка страницы в robots.txt может не сработать, если на неё есть ссылки

Во время последней видеовстречи для вебмастеров сотрудник Google Джон Мюллер предупредил, что заблокированные в robot.txt страницы могут по-прежнему индексироваться при наличии ссылок, указывающих на них.

И это может стать проблемой, поскольку в данном случае Google будет видеть эти страницы как не имеющие контента из-за блокировки от сканирования.

По словам Мюллера, если на сайте есть контент, который по той или иной причине нужно скрыть от Google, то лучше всего использовать метатег noindex.

«Стоит помнить, что если эти страницы заблокированы в robots.txt, тогда теоретически возможна ситуация, когда кто-то случайно сошлётся на одну из них. И если это произойдёт, то мы можем индексировать эту страницу без контента, поскольку она заблокирована в robots.txt…

Поэтому, если на этих страницах есть что-то, что вы не хотите, чтобы было проиндексировано, тогда не отклоняйте их, а используйте метатег noindex», — заявил гуглер.

Прослушать вопрос к Мюллеру и его ответ на него можно, начиная с отметки 24:36 на видео:

Напомним, что Google не рекомендует закрывать страницу в robots.txt, если на ней уже есть атрибут noindex. А в 2016 году Джон Мюллер рассказал, как как ускорить индексирование новой версии файла robots.txt.



Коды для вставки в блог\форум




Интересные новости
Google тестирует очень крупные изображения в результатах поискаGoogle тестирует очень крупные изображения в результатах поиска
СБУ заявила о блокировании работы 33 онлайн-казиноСБУ заявила о блокировании работы 33 онлайн-казино
Google: коды ответа сервера 429/503 могут приводить к выпадению страниц из индексаGoogle: коды ответа сервера 429/503 могут приводить к выпадению страниц из индекса
Mozilla начала тестировать VPN-сервис для Windows и AndroidMozilla начала тестировать VPN-сервис для Windows и Android
В США требуют от Facebook вернуть $9 млрд неуплаченных налоговВ США требуют от Facebook вернуть $9 млрд неуплаченных налогов
Блок рекламы


Похожие новости

Google: коды ответа сервера 429/503 могут приводить к выпадению страниц из индексаGoogle: коды ответа сервера 429/503 могут приводить к выпадению страниц из индекса
Google сократил спамный контент в Картах до менее чем 1%Google сократил спамный контент в Картах до менее чем 1%
Google: у нас нет такого сигнала, как EATGoogle: у нас нет такого сигнала, как EAT
Google тестирует новые метаданные для лицензируемых изображенийGoogle тестирует новые метаданные для лицензируемых изображений
Google тестирует очень крупные изображения в результатах поискаGoogle тестирует очень крупные изображения в результатах поиска
Google улучшил поиск в GmailGoogle улучшил поиск в Gmail
Google обновил инструмент изменения адреса в Search ConsoleGoogle обновил инструмент изменения адреса в Search Console
Orange и Telxius будут сотрудничать в рамках проекта Google DunantOrange и Telxius будут сотрудничать в рамках проекта Google Dunant
Google об использовании неподдерживаемых типов разметки на сайтеGoogle об использовании неподдерживаемых типов разметки на сайте
Google хотел бы, чтобы комментарии также были в AMP-версии страницыGoogle хотел бы, чтобы комментарии также были в AMP-версии страницы
Последние новости

Подгружаем последние новости