Джон Мюллер: как Google ранжирует страницы, заблокированные в robots.txt

Во время последней видеовстречи для вебмастеров сотрудник Google Джон Мюллер объяснил, как определяется релевантность запросу для тех страниц, что заблокированы от сканирования с помощью robots.txt.

Как стало известно ранее, Google может индексировать заблокированные в robots.txt страницы, если на них есть ссылки. Но как Google определяет, по каким типам запросов ранжировать эти URL?

Вопрос к Мюллеру звучал так:

«Сегодня все говорят о намерении пользователя. Если страница заблокирована через robots.txt, но ранжируется, как Google определяет релевантность её контента запросу?

Мюллер ответил, что Google не может просмотреть заблокированный контент. Поэтому ему приходится искать другие пути, чтобы сравнить текущий URL c другими.

В большинстве случаев Google будет приоритизировать индексацию других страниц сайта, которые более доступны и не заблокированы от сканирования.

При этом иногда в результатах поиска могут выводиться заблокированные страницы. Это происходит в тех случаях, когда Google считает, что такое решение оправдано. Релевантность таких страниц будет определяться по ссылкам, указывающим на них.

Прослушать ответ Мюллера можно, начиная с отметки 21:49 на видео ниже:

Напомним, что в рамках работы над переводом Robots Exclusion Protocol в разряд интернет-стандартов Google решил отключить поддержку недокументированных правил в robots.txt, включая директиву noindex.