Google: что делать при массовой ошибке «Обнаружена, не проиндексирована»

Во время последней видеовстречи для вебмастеров сотрудник Google Джон Мюллер рассказал, почему может возникать массовая ошибка «Обнаружена, не проиндексирована» для URL в Search Console, и какие действия следует предпринять в такой ситуации.

В Справке Search Console приводятся следующие причины появления этой ошибки:

«Страница была найдена Google, но пока не просканирована. Обычно это объясняется тем, что робот Google не смог просканировать сайт, поскольку тот оказался перегружен, и был вынужден перенести сканирование на более поздний срок. Именно поэтому в отчёте не указывается дата последнего сканирования».

При этом Джон Мюллер назвал другие причины. По его словам, массовое появление такой ошибки может быть связано с непреднамеренным генерированием слишком большого количества URL, проблемами в работе внутренней перелинковки или же с необходимостью сократить общее количество страниц.

Вопрос к Мюллеру звучал так:

«В Search Console 99% наших страниц исключены с указанием статуса «Обнаружена, не проиндексирована». Это происходит уже несколько лет, несмотря на наличие ссылок из авторитетных изданий и сайтов. Что может вызывать эту ситуацию, и что мы можем сделать, чтобы эти страницы индексировались? Может ли быть проблемой то, что Google неспособен индексировать большое количество страниц?».

Мюллер порекомендовал вебмастеру выполнить следующие шаги:

Проверить, действительно ли этот статус выводится для 99% страниц. Проверить технические моменты – не генерируется ли непреднамеренно большое количество URL, в которых Google может попросту потеряться. В частности, не создаются ли однотипные URL с небольшим количество отличий. Использование параметров, верхнего/нижнего регистра и подобных вещей может привести к созданию дублированных URL.
Проанализировать внутреннюю ссылочную структуру. Может ли Google проходить по всем этим ссылкам? Для этого можно использовать инструменты сканирования, такие как Screaming Frog или DeepCrawl. Если с внутренней перелинковкой всё в порядке, то можно переходить к следующему пункту.
Повысить качество страниц. Например, если на сайте содержится 20 млн страниц и 99% из них не индексируются, то, возможно, имеет смысл сократить их количество – скажем, наполовину или даже до 10% от исходного количества. Тогда Google сможет сканировать и индексировать сайт в большем объёме и чаще. Сократив общее число страниц и объединив материалы по одной теме, можно будет повысить качество контента.

Прослушать вопрос к Мюллеру и его ответ на него можно, начиная с отметки 11:17 на видео ниже: