Google может полностью убрать поддержку директивы noindex в robots.txt

Google уже многие годы говорит вебмастерам, что не поддерживает директиву noindex в файле robots.txt. Однако некоторые SEO-специалисты по-прежнему её используют. Поэтому в компании задумались над тем, чтобы полностью отказаться от этой директивы и сделать так, чтобы она не работала. Об этом заявил сотрудник поиска Гэри Илш в ходе обсуждения на эту тему в Twitter.

Обсуждение инициировал один из пользователей соцсети. Он обратился к Джону Мюллеру и попросил совета относительно использования noindex в robots.txt. Однако Мюллер ответил, что официально эта директива не поддерживается:

Известный западный SEO-консультант Мари Хэйнс (Marie Haynes) на это отметила, что по мнению многих специалистов, она по-прежнему неплохо работает:

Здесь к обсуждению присоединился Гэри Илш, который сказал, что в скором времени это может измениться.

«Я сейчас чищу эту часть кодовой базы Googlebot, а эта штука торчит, как монахиня в мош-пите», — написал он.

Далее он добавил, что «технически robots.txt предназначен для сканирования. Метатеги – для индексирования. Во время индексации они будут применяться на одной и той же стадии, поэтому нет никаких веских оснований иметь их обоих».

На что один из специалистов отметил, что директива noindex в robots.txt — это очень полезная функция при взаимодействии с внешними разработчиками/агентствами — когда не получается получить доступ к конкретному поддомену.

Илш ответил, что проведёт исследование, чтобы посмотреть, как вебмастера используют эту директиву. Если таких будет много, то он обсудит этот вопрос с вышестоящим руководством.

Напомним, в 2017 году стало известно, что для Google директива Noindex, follow со временем переходит в Noindex, nofollow.