Google представил BERT Update – крупнейший прорыв в работе поиска за последние 5 лет

Google официально представил BERT Update – обновление, которое компания назвала «крупнейшим прорывом за последние 5 лет и одним из самых крупных качественных скачков в истории поиска».

Новый алгоритм помогает Google лучше понимать запросы на естественном языке. Он охватывает 1 из 10 запросов в США на английском языке. Со временем Google планирует расширить этот подход на большее количество стран и языков.

Google открыл исходный код технологии Bidirectional Encoder Representations from Transformers или сокращённо BERT, работающей на базе машинного обучения, в прошлом году. Эта технология позволяет тренировать системы ответа на вопросы.

Google применяет модели BERT в ранжировании и при формировании избранных сниппетов (featured snippets). В ранжировании – только для запросов на английском языке, для избранных сниппетов – в более чем 20 странах мира, где работает эта функция. Благодаря BERT поисковику удалось достичь значительных улучшений в области featured snippets на таких языках, как корейский, португальский и хинди.

BERT помогает Google «понимать» более длинные запросы, сформулированные на естественном языке, где большое значение имеют предлоги, такие как «for» и «to».

В качестве одного из примеров Google привёл запрос [2019 brazil traveler to usa need a visa]. Раньше поисковик возвращал по нему результаты о гражданах США, путешествующих в Бразилию. Хотя на самом деле речь идёт о о посещении Соединённых Штатов бразильскими туристами. Теперь Google правильно понимает такие запросы, учитывая предлог «to».

Google также применяет BERT для улучшения поиска по всему миру – выводы, сделанные в отношении одного языка, применяются к другим. Это помогает возвращать более релевантные результаты не только на английском, но и на многих других языках.

Данный прорыв стал результатом исследований Google в области «трансформеров» — нейросетей новой архитектуры для работы с последовательностями, которые обрабатывают слова в их связи со всеми остальными словами в предложении, а не по порядку. Анализируя слова перед словом и после него, модели BERT способны определять его полный контекст, что особенно полезно для понимания интента, стоящего за поисковым запросом.

При этом некоторые из моделей BERT настолько сложны, что Google пришлось использовать новое аппаратное обеспечение. В частности, компания впервые начала использовать для предоставления результатов поиска новейшие облачные TPU.

Согласно Search Engine Roundtable, в конце прошлой недели зарубежные вебмастера начали замечать признаки обновления поискового алгоритма Google. Есть предположения, что эти колебания были связаны с запуском BERT Update.

Дмитрий Запорожец — руководитель SEO-отдела Profitator (Kokoc Group):

«Все поисковики с каждым годом всё дальше будут уходить от классических алгоритмов ранжирования в сторону машинного обучения. Надо сказать, что тут Яндекс сильно опередил Google и начал использовать нейросети для понимания смысла запроса и сопоставления его с текстом ещё в 2016 году с алгоритмом Палех и годом позже, введя алгоритм Королёв. Так что принципиально нового нас ничего не ждёт.

Из-за обновления алгоритма, скорее всего, станет меньше нерелевантных ответов, особенно по НЧ-запросам. По частотным же запросам, вероятно, ничего не поменяется.

Если вспомнить ввод Палеха Яндексом — тогда они говорили, что алгоритм не заменяет основную формулу, а дополняет её, ещё один параметр в ней. Так же и Google говорит, что BERT не заменит тот же RankBrain. Где-то будут применяться оба, где-то только один — тот, который даст тут лучший результат».