Стали известны новые детали работы обновлённого Googlebot

На днях Google поделился новыми деталями работы обновлённого Googlebot, который теперь всегда будет основан на последней версии Chromium.

Старый агент пользователя

Как выяснилось, Google не поменял агента пользователя для Googlebot и по-прежнему использует старый вариант, в котором упоминается Chrome 41. При этом на самом деле краулер работает на базе Chrome 74, утверждают в компании.

Right, unfortunately the UA is wrong ? We wanted to do things step by step and we didn't want to change the UA as people might have hardcoded it somewhere — with enough heads-up, we'll change that!

— Martin Splitt @ ?? #io19 (@g33konaut) May 8, 2019

При этом в Google планируют обновить user-agent в будущем:

How do you determine that it was a Chrome 41 from the logs?But yes, the UA will be updated in the future. More details at https://t.co/mshKgwn8aI

— Martin Splitt @ ?? #io19 (@g33konaut) May 8, 2019
Два обхода для JavaScript-страниц

Google по-прежнему обрабатывает JavaScript-контент за два обхода. Поэтому задержки в его индексации остались, но зато появилась поддержка более чем 1000 новых функций.

There is still a delay…but more than 1000 new features are supported now!

— Martin Splitt @ ?? #io19 (@g33konaut) May 7, 2019

На вопрос, есть ли планы по объединению этих двух фаз индексации JS-контента в одну, сотрудник Google Мартин Сплит ответил стандартной фразой: «[Нам] пока не о чем объявить».

Nothing to announce yet..

— Martin Splitt @ ?? #io19 (@g33konaut) May 8, 2019
Объём сканирования останется прежним

На вопрос, изменится ли объём сканирования – т.е., не будет ли Googlebot сканировать меньше страниц при одном и том же краулинговом бюджете из-за обработки более сложных файлов – Сплит ответил, что нет.

Nope.

— Martin Splitt @ ?? #io19 (@g33konaut) May 8, 2019
Поддержка новых функций

Как уже сообщалось ранее, в результате обновления Googlebot получил поддержку более 1000 новых функций. Ниже – некоторые из них.

Our session on #javascript and #seo at 1:30pm tomorrow will be LIT???Come to stage 3 to see what it's all about ?Amongst other things, we'll talk:??Web app architectures ?Googlebot ??Lazy loading?Web APIs?Testing?Crawl budget & more!https://t.co/6CGsiGgg9w pic.twitter.com/b4MnvpSmWt

— Martin Splitt @ ?? #io19 (@g33konaut) May 9, 2019
Googlebot пока обновлён не во всех инструментах Google

Googlebot используется в разных сервисах и подразделениях Google, однако не во всех из них краулер уже обновлён. Пока апдейт коснулся только поиска. При этом инструмент проверки оптимизации для мобильных устройств (Mobile Friendly Test) и другие сервисы пока не перешли на обновлённую версию Googlebot, но будут переведены на неё в будущем.

Как отметил сотрудник поиска Гэри Илш, обновить всё сразу у Google нет возможности, эта инфраструктура устроена иначе. Поэтому компании понадобится какое-то время для обновления всех своих сервисов.

Новый user-agent

Некоторые вебмастера также заметили в своих лог-файлах появление нового агента пользователя, который содержит следующие данные: Android 9.0.0 Pixel 3 XL, 01-may-2019.

@JohnMu @g33konaut Could these hits be due to the new search engine?Googlebot hits using User Agent String Android 9.0.0 Pixel 3 XL, 01-may-2019 pic.twitter.com/t5yZDQTqs3

— Lino Uru?uela (@Errioxa) May 8, 2019

Great catch Lino. I see that too in my logs. Eager to hear more about this from Google. ? pic.twitter.com/sumpyEZCsr

— Glenn Gabe (@glenngabe) May 9, 2019

В Google пока не ответили, что это за user-agent:

Hi, Lino! Sorry I missed the earlier tweet. Now, that looks like legit Googlebots, but I'll have to dig a little to give you a proper answer! ?

— Martin Splitt @ ?? #io19 (@g33konaut) May 9, 2019

Напомним, что Google представил обновлённую версию Googlebot в первый день конференции для разработчиков I/O 2019.




!

Если для Вас конкретно эта новость оказалась важной или интересной - пожалуйста, поделитесь ею в своей любимой социальной сети с помощью кнопок, расположенных под этим текстом. Это поможет нам в будущем делать более качественную подборку материалов, исходя из Ваших потребностей\интересов.




Коды для вставки в блог\форум

blog comments powered by Disqus


Вспомним другие новости из этого раздела?


Internet и сети

←+Ctrl+→

Интересные новости
20 украинских провайдеров не блокируют даже половину санкционных сайтов — исследование
В США представили законы об операциях с виртуальными активами и ICO. Как это повлияет на крипторынок?
Facebook ответил на призыв положить конец его монополииFacebook ответил на призыв положить конец его монополии
Интернет-потребители согласны платить больше за товары с отзывамиИнтернет-потребители согласны платить больше за товары с отзывами
В Snapchat появились новые фильтры для фото и видео, меняющие полВ Snapchat появились новые фильтры для фото и видео, меняющие пол
Блок рекламы


Похожие новости

Google Ads представил новую стратегию назначения ставок и новые настройкиGoogle Ads представил новую стратегию назначения ставок и новые настройки
GML 2019: новые форматы рекламы, редизайн Google Shopping и другие анонсыGML 2019: новые форматы рекламы, редизайн Google Shopping и другие анонсы
Google приступил к запуску нового Googlebot несколько месяцев назадGoogle приступил к запуску нового Googlebot несколько месяцев назад
В Snapchat появились новые фильтры для фото и видео, меняющие полВ Snapchat появились новые фильтры для фото и видео, меняющие пол
Google анонсировал новые функции в поиске по картинкамGoogle анонсировал новые функции в поиске по картинкам
В Facebook появились новые функции для малого бизнесаВ Facebook появились новые функции для малого бизнеса
Googlebot теперь работает на базе последней версии ChromiumGooglebot теперь работает на базе последней версии Chromium
Google так и не закрыл уязвимость, позволяющую совершать XSS-атаки на GooglebotGoogle так и не закрыл уязвимость, позволяющую совершать XSS-атаки на Googlebot
Google Ads готовит к запуску новые сигналы для Smart BiddingGoogle Ads готовит к запуску новые сигналы для Smart Bidding
В Google Таблицах появились новые функции для работы с объектамиВ Google Таблицах появились новые функции для работы с объектами
Последние новости

Подгружаем последние новости