Стали известны новые детали работы обновлённого Googlebot

На днях Google поделился новыми деталями работы обновлённого Googlebot, который теперь всегда будет основан на последней версии Chromium.

Старый агент пользователя

Как выяснилось, Google не поменял агента пользователя для Googlebot и по-прежнему использует старый вариант, в котором упоминается Chrome 41. При этом на самом деле краулер работает на базе Chrome 74, утверждают в компании.

Right, unfortunately the UA is wrong ? We wanted to do things step by step and we didn't want to change the UA as people might have hardcoded it somewhere — with enough heads-up, we'll change that!
— Martin Splitt @ ?? #io19 (@g33konaut) May 8, 2019

При этом в Google планируют обновить user-agent в будущем:

How do you determine that it was a Chrome 41 from the logs?But yes, the UA will be updated in the future. More details at https://t.co/mshKgwn8aI
— Martin Splitt @ ?? #io19 (@g33konaut) May 8, 2019

Два обхода для JavaScript-страниц

Google по-прежнему обрабатывает JavaScript-контент за два обхода. Поэтому задержки в его индексации остались, но зато появилась поддержка более чем 1000 новых функций.

There is still a delay…but more than 1000 new features are supported now!
— Martin Splitt @ ?? #io19 (@g33konaut) May 7, 2019

На вопрос, есть ли планы по объединению этих двух фаз индексации JS-контента в одну, сотрудник Google Мартин Сплит ответил стандартной фразой: «[Нам] пока не о чем объявить».

Nothing to announce yet..
— Martin Splitt @ ?? #io19 (@g33konaut) May 8, 2019

Объём сканирования останется прежним

На вопрос, изменится ли объём сканирования – т.е., не будет ли Googlebot сканировать меньше страниц при одном и том же краулинговом бюджете из-за обработки более сложных файлов – Сплит ответил, что нет.

Nope.
— Martin Splitt @ ?? #io19 (@g33konaut) May 8, 2019

Поддержка новых функций

Как уже сообщалось ранее, в результате обновления Googlebot получил поддержку более 1000 новых функций. Ниже – некоторые из них.

Our session on #javascript and #seo at 1:30pm tomorrow will be LIT???Come to stage 3 to see what it's all about ?Amongst other things, we'll talk:??Web app architectures ?Googlebot ??Lazy loading?Web APIs?Testing?Crawl budget & more!https://t.co/6CGsiGgg9w pic.twitter.com/b4MnvpSmWt
— Martin Splitt @ ?? #io19 (@g33konaut) May 9, 2019

Googlebot пока обновлён не во всех инструментах Google

Googlebot используется в разных сервисах и подразделениях Google, однако не во всех из них краулер уже обновлён. Пока апдейт коснулся только поиска. При этом инструмент проверки оптимизации для мобильных устройств (Mobile Friendly Test) и другие сервисы пока не перешли на обновлённую версию Googlebot, но будут переведены на неё в будущем.

Как отметил сотрудник поиска Гэри Илш, обновить всё сразу у Google нет возможности, эта инфраструктура устроена иначе. Поэтому компании понадобится какое-то время для обновления всех своих сервисов.

Новый user-agent

Некоторые вебмастера также заметили в своих лог-файлах появление нового агента пользователя, который содержит следующие данные: Android 9.0.0 Pixel 3 XL, 01-may-2019.

@JohnMu @g33konaut Could these hits be due to the new search engine?Googlebot hits using User Agent String Android 9.0.0 Pixel 3 XL, 01-may-2019 pic.twitter.com/t5yZDQTqs3
— Lino Uru?uela (@Errioxa) May 8, 2019

Great catch Lino. I see that too in my logs. Eager to hear more about this from Google. ? pic.twitter.com/sumpyEZCsr
— Glenn Gabe (@glenngabe) May 9, 2019

В Google пока не ответили, что это за user-agent:

Hi, Lino! Sorry I missed the earlier tweet. Now, that looks like legit Googlebots, but I'll have to dig a little to give you a proper answer! ?
— Martin Splitt @ ?? #io19 (@g33konaut) May 9, 2019

Напомним, что Google представил обновлённую версию Googlebot в первый день конференции для разработчиков I/O 2019.

searchengines.ru