Стали известны новые детали работы обновлённого Googlebot

На днях Google поделился новыми деталями работы обновлённого Googlebot, который теперь всегда будет основан на последней версии Chromium.

Старый агент пользователя

Как выяснилось, Google не поменял агента пользователя для Googlebot и по-прежнему использует старый вариант, в котором упоминается Chrome 41. При этом на самом деле краулер работает на базе Chrome 74, утверждают в компании.

Right, unfortunately the UA is wrong ? We wanted to do things step by step and we didn't want to change the UA as people might have hardcoded it somewhere — with enough heads-up, we'll change that!

— Martin Splitt @ ?? #io19 (@g33konaut) May 8, 2019

При этом в Google планируют обновить user-agent в будущем:

How do you determine that it was a Chrome 41 from the logs?But yes, the UA will be updated in the future. More details at https://t.co/mshKgwn8aI

— Martin Splitt @ ?? #io19 (@g33konaut) May 8, 2019
Два обхода для JavaScript-страниц

Google по-прежнему обрабатывает JavaScript-контент за два обхода. Поэтому задержки в его индексации остались, но зато появилась поддержка более чем 1000 новых функций.

There is still a delay…but more than 1000 new features are supported now!

— Martin Splitt @ ?? #io19 (@g33konaut) May 7, 2019

На вопрос, есть ли планы по объединению этих двух фаз индексации JS-контента в одну, сотрудник Google Мартин Сплит ответил стандартной фразой: «[Нам] пока не о чем объявить».

Nothing to announce yet..

— Martin Splitt @ ?? #io19 (@g33konaut) May 8, 2019
Объём сканирования останется прежним

На вопрос, изменится ли объём сканирования – т.е., не будет ли Googlebot сканировать меньше страниц при одном и том же краулинговом бюджете из-за обработки более сложных файлов – Сплит ответил, что нет.

Nope.

— Martin Splitt @ ?? #io19 (@g33konaut) May 8, 2019
Поддержка новых функций

Как уже сообщалось ранее, в результате обновления Googlebot получил поддержку более 1000 новых функций. Ниже – некоторые из них.

Our session on #javascript and #seo at 1:30pm tomorrow will be LIT???Come to stage 3 to see what it's all about ?Amongst other things, we'll talk:??Web app architectures ?Googlebot ??Lazy loading?Web APIs?Testing?Crawl budget & more!https://t.co/6CGsiGgg9w pic.twitter.com/b4MnvpSmWt

— Martin Splitt @ ?? #io19 (@g33konaut) May 9, 2019
Googlebot пока обновлён не во всех инструментах Google

Googlebot используется в разных сервисах и подразделениях Google, однако не во всех из них краулер уже обновлён. Пока апдейт коснулся только поиска. При этом инструмент проверки оптимизации для мобильных устройств (Mobile Friendly Test) и другие сервисы пока не перешли на обновлённую версию Googlebot, но будут переведены на неё в будущем.

Как отметил сотрудник поиска Гэри Илш, обновить всё сразу у Google нет возможности, эта инфраструктура устроена иначе. Поэтому компании понадобится какое-то время для обновления всех своих сервисов.

Новый user-agent

Некоторые вебмастера также заметили в своих лог-файлах появление нового агента пользователя, который содержит следующие данные: Android 9.0.0 Pixel 3 XL, 01-may-2019.

@JohnMu @g33konaut Could these hits be due to the new search engine?Googlebot hits using User Agent String Android 9.0.0 Pixel 3 XL, 01-may-2019 pic.twitter.com/t5yZDQTqs3

— Lino Uru?uela (@Errioxa) May 8, 2019

Great catch Lino. I see that too in my logs. Eager to hear more about this from Google. ? pic.twitter.com/sumpyEZCsr

— Glenn Gabe (@glenngabe) May 9, 2019

В Google пока не ответили, что это за user-agent:

Hi, Lino! Sorry I missed the earlier tweet. Now, that looks like legit Googlebots, but I'll have to dig a little to give you a proper answer! ?

— Martin Splitt @ ?? #io19 (@g33konaut) May 9, 2019

Напомним, что Google представил обновлённую версию Googlebot в первый день конференции для разработчиков I/O 2019.



Коды для вставки в блог\форум



Вспомним другие новости из этого раздела?


Internet и сети

←+Ctrl+→

Интересные новости
SEC приостановила ICO Telegram. Дуров обещал запустить блокчейн до 31 октября
Concert.ua подал жалобу на Karabas.com в АМКУ: причина и позиции сторонConcert.ua подал жалобу на Karabas.com в АМКУ: причина и позиции сторон
Search Console начал оповещать об ошибках в разметке видеоконтентаSearch Console начал оповещать об ошибках в разметке видеоконтента
AdSense улучшил автоматизированные объявленияAdSense улучшил автоматизированные объявления
Google может изменить своё отношение к машинному контенту в будущемGoogle может изменить своё отношение к машинному контенту в будущем
Блок рекламы


Похожие новости

В Киеве запустили новые электронные сервисы для горожанВ Киеве запустили новые электронные сервисы для горожан
Google обновит агента пользователя Googlebot в декабреGoogle обновит агента пользователя Googlebot в декабре
Google Ads добавил новые функции на страницу "Рекомендации"Google Ads добавил новые функции на страницу "Рекомендации"
Pinterest добавил новые функции для групповых досокPinterest добавил новые функции для групповых досок
Facebook представил новые интерактивные форматы мобильной рекламыFacebook представил новые интерактивные форматы мобильной рекламы
Из-за сбоя в Google снова стали отображаться «10 синих ссылок»Из-за сбоя в Google снова стали отображаться «10 синих ссылок»
Facebook тестирует новые функции для блогеров и публичных личностейFacebook тестирует новые функции для блогеров и публичных личностей
Facebook наймет журналистов для работы над своим новостным разделомFacebook наймет журналистов для работы над своим новостным разделом
Googlebot получил поддержку Chrome 76Googlebot получил поддержку Chrome 76
Темой первого видео в серии #AskGoogleWebmasters стали исходящие ссылкиТемой первого видео в серии #AskGoogleWebmasters стали исходящие ссылки
Последние новости

Подгружаем последние новости