Вебмастера жалуются на задержки в индексации новых URL со стороны Google

Около двух недель назад западные вебмастера начали жаловаться на задержки в индексации новых URL со стороны Google. При этом форсировать сканирование с помощью инструмента Fetch as Google они также не могли по причине новых лимитов. Проблема коснулась не всех владельцев сайтов и оптимизаторов, но многих.

В Twitter в ходе обсуждении этой проблемы высказались несколько известных западных SEO-экспертов.

Так, Гленн Гейб (Glenn Gabe) заявил, что ранее новые URL индексировались в течение считанных минут, а теперь это занимает несколько дней. Он также предположил, что эта ситуация может быть связана с запуском mobile-first индекса:

@JohnMu There have been a number of reports of new urls published taking days to be indexed (when new urls used to be crawled and indexed in minutes). I've seen that first-hand with some clients. Does that have anything to do with the mobile-first index? Is that temporary?

— Glenn Gabe (@glenngabe) March 26, 2018

Консультант по международному SEO Жанлука Фиорелли (Gianluca Fiorelli) отметил, что эта же проблема обсуждается на итальянских SEO-форумах и, возможно, затронула все регионы, в которых представлен Google:

I saw people talking about the same issue also in Italian SEO forums… so it seems a Google-wide problem.

— Gianluca Fiorelli (@gfiorelli1) 26 марта 2018 г.

SEO-консультант Джон Доэрти (John Doherty) добавил, что наблюдает эту проблему по ряду сайтов. Некоторые из них являются новыми издателями, но не все. По его мнению, Google замедлил индексацию новых URL по причине борьбы с фейковыми новостями.

I’m seeing it too across multiple sites. Some news publishers, some not. I’m suspecting it’s a timestamp issue and Google has dialed down indexing new content super fast in order to deal with fake news.

— John Doherty (@dohertyjf) 26 марта 2018 г.

По словам Гленна Гейба, эта проблема проявилась около 1,5 недель назад, а индексация новых страниц теперь занимает 2-3 дня. При этом Джон Доэрти отметил, что по его наблюдениям, эта ситуация длится уже около месяца:

I agree and am as well. Something definitely changed that Google is not being forthcoming about IMO. I've been seeing it for a month or so.

— John Doherty ? (@dohertyjf) March 26, 2018

Сотрудник Google Джон Мюллер (John Mueller) ответил, что Google никогда не индексирует все URL с одинаковой скоростью, а текущая ситуация никак не связана с запуском mobile-first индекса. Однако, судя по его ответу, он может владеть не всем контекстом.

We don't index all content with the same speed, that's pretty normal & not related to mobile-first indexing. If your mobile site allows normal crawling, you wouldn't see any change in crawl/index frequency when switched over.

— John ?.o(???)o.? (@JohnMu) March 26, 2018

Напомним, что вчера Google завершил тестовую фазу и приступил к более широкому запуску mobile-first индексации.