Google не рекомендует закрывать страницу в robots.txt, если на ней уже есть атрибут noindex

Специалист отдела качества поиска Google по работе с вебмастерами Джон Мюллер (John Mueller) отметил, что не следует закрывать страницу в robots.txt, если на ней уже есть атрибут noindex.

Макс Прин (Max Prin) опубликовал в Twitter сообщение: «Протестировано: нет необходимости использовать директиву disallow, если noindex уже содержится в файле robots.txt»:

TESTED: no need for disallow if using noindex in robots.txt. As long as @google supports it... @deepcrawl @JohnMu https://t.co/CtALatZhhB

— Max Prin (@maxxeight) 1 сентября 2015

Однако Джон Мюллер опроверг это мнение: «Лучше избегать использования noindex в файле robots.txt».

@maxxeight @google @DeepCrawl I'd really avoid using the noindex there.

— John Mueller (@JohnMu) 1 сентября 2015

Таким образом, если на странице есть тег meta name="robots" content="noindex", то нет смысла эту страницу через disallow закрывать ещё и в robots.txt.

Кроме того, об этом говорится и в Справочном центре Search Console: «Google не рекомендует закрывать страницу в robots.txt, если на ней уже есть атрибут noindex. Такая страница не будет отображаться в результатах поиска».

searchengines.ru