Google: метатег noindex не помогает сэкономить краулинговый бюджет

Представитель Google Джон Мюллер подтвердил, что метатег noindex не помогает сэкономить краулинговый бюджет сайта. То же самое, по большей части, справедливо и в отношении атрибута rel=canonical.

Чтобы обнаружить метатеги, Googlebot должен просканировать страницу и, соответственно, израсходовать часть краулингового бюджета. Таким образом, noindex предотвращает индексирование страницы, но не сканирование.

@idanbenor nope.

— John ?.o(???)o.? (@JohnMu) 30 ноября 2016 г.

Для большинства вебмастеров это очевидно, однако вопросы на эту тему периодически поднимаются среди специалистов отрасли.

Что касается атрибута rel=canonical, Googlebot сканирует не только каноническую, но и другие страницы. Это нужно для того, чтобы убедиться, что они действительно являются дубликатами.

@bheligman probably not (or not much). we have to pick a canonical & have to crawl the dups to see that they’re dups anyway.

— John ?.o(???)o.? (@JohnMu) 30 ноября 2016 г.

В октябре представитель Google Гэри Илш напомнил, что если в коде страницы указаны обе директивы – и noindex и index – то учитываться будет noindex.