Google перестанет поддерживать директиву noindex в robots.txt

Начиная с 1 сентября Google перестанет поддерживать неопубликованные и неподдерживаемые правила в Robots Exclusion Protocol. Это значит, что поисковик больше не будет поддерживать директиву noindex в файле robots.txt.

«В интересах поддержания здоровой экосистемы и подготовки к возможным будущим релизам с открытым исходным кодом мы переведём в разряд устаревшего весь код, который обрабатывает неподдерживаемые и неопубликованные правила (такие, как noindex) 1 сентября 2019 года», — говорится в сообщении компании.

В качестве альтернативы директиве noindex в robots.txt Google предлагает использовать следующие варианты:

• Noindex в метатегах robots;
• Коды ответа сервера 404 и 410;
• Disalow в robots.txt;
• Инструмент удаления URL в Search Console;
• Защиту паролем. Если на странице не используется разметка для платного контента, то использование логина и пароля для доступа к содержимому страницы обычно приводит к её удалению из индекса Google.

Напомним, что в настоящее время Google активно работает над тем, чтобы перевести Robots Exclusion Protocol, основанный на использовании файла robots.txt, в разряд официальных интернет-стандартов.

В рамках этой инициативы Google также открыл исходный код своего парсера для robots.txt и обновил документацию по этому файлу.