Google напомнил о скором прекращении поддержки noindex в robots.txt

До 1 сентября осталось всего ничего, и Google напоминает вебмастерам, что те, кто продолжает использование директивы noindex в robots.txt, могут оказаться в неприятной ситуации.

Just a reminder — ?? September 1, 2019 is not far away ???. Entries like ?? "noindex" in ? robots.txt won't be supported much longer, make sure to use the other options mentioned in the blog post ?. https://t.co/SO20OHFxOT
— Google Webmasters (@googlewmc) August 28, 2019

Google прекращает поддерживать директиву noindex в файле robots.txt с 1 сентября. Об этом было объявлено еще в начале июля и даже разосланы письменные уведомления через Search Console.

В качестве альтернативы директиве noindex в robots.txt Google предлагает использовать следующие варианты:

Noindex в метатегах robots;
Коды ответа сервера 404 и 410;
Disalow в robots.txt;
Инструмент удаления URL в Search Console;
Защиту паролем. Если на странице не используется разметка для платного контента, то использование логина и пароля для доступа к содержимому страницы обычно приводит к её удалению из индекса Google.

Напомним, что в настоящее время Google активно работает над тем, чтобы перевести Robots Exclusion Protocol, основанный на использовании файла robots.txt, в разряд официальных интернет-стандартов.

В рамках этой инициативы Google также открыл исходный код своего парсера для robots.txt и обновил документацию по этому файлу.

searchengines.ru