Google рассказал о проблемах при сканировании JavaScript

На конференции Google I/O, которая состоялась на прошлой неделе, сотрудники поиска рассказали о проблемах, связанных со сканированием и индексированием JavaScript.

Согласно Google, поисковый робот обрабатывает страницы, на которых активно используется JavaScript, в два этапа: первичное сканирование, а затем, несколько дней спустя, полный рендеринг. Однако с этим двухэтапным подходом связаны определённые проблемы, которые могут привести к тому, что в некоторых случаях Google может пропустить критически важные данные.

В частности, на втором этапе индексирования Googlebot не проверяет такие вещи, как атрибуты rel=canonical и метатеги. В результате, если они не были обработаны на первом этапе индексирования, в итоге они могут полностью отсутствовать и негативно влиять на индексацию и ранжирование.

Например, если сайт является PWA, созданным на основе модели одностраничного приложения, то есть вероятность, что все URL имеют некий базовый шаблон ресурсов, которые затем заполняются контентом через AJAX или Fetch-запросы. В данном случае, если сайт полагается на рендеринг на стороне клиента, при первичной обработке канонические теги выявлены не будут. А поскольку во время второго этапа индексирования Googlebot не проверяет канонические теги вообще, то в итоге они будут полностью отсутствовать.

Кроме того, если пользователь запрашивает URL, который не существует, а JS-сайт пытается вернуть страницу с ошибкой 404, то это также будет пропущено.

Сотрудник поиска Джон Мюллер подтвердил эту информацию в Twitter:

We (currently) only process the rel=canonical on the initially fetched, non-rendered version.

— John ?.o(???)o.? (@JohnMu) May 10, 2018

Во время совместной сессии с Томом Гринуэем он также подчеркнул, что на самом деле это не второстепенные, а важные проблемы.

«Важно отметить, что это не мелкие, а реальные проблемы, которые могут повлиять на индексируемость сайта. Метаданные, канонические теги, HTTP-коды, которые я упомянул в начале этой беседы – всё это реально важно для того, как поисковые краулеры понимают контент на ваших страницах».

Мюллер также рассказал, что у сайта Google I/O также были эти проблемы, которые привели к тому, что Google пришлось поменять подход к рендерингу этой страницы, чтобы она корректно сканировалась и индексировалась.

Позже Джон Мюллер отметил, что во избежание такого рода проблем сайты могут использовать динамический рендеринг, при котором они показывают полную версию Googlebot и другим краулерам, а обычную, JavaScript-версию, пользователям.

«У нас есть ещё один вариант, который мы хотели бы представить – это динамический рендеринг. По сути, динамический рендеринг – это принцип отправки обычного контента, с рендерингом на стороне клиента, пользователям и полной версии, с рендерингом на стороне сервера, поисковым системам и другим краулерам».

На вопрос, может ли такой подход расцениваться как клоакинг, Мюллер заявил, что нет, поскольку и пользователи, и Googlebot будут видеть один и тот же контент, но он будет по-разному предоставляться, чтобы Googlebot мог корректно его индексировать на первом этапе.




!

Если для Вас конкретно эта новость оказалась важной или интересной - пожалуйста, поделитесь ею в своей любимой социальной сети с помощью кнопок, расположенных под этим текстом. Это поможет нам в будущем делать более качественную подборку материалов, исходя из Ваших потребностей\интересов.




Коды для вставки в блог\форум

blog comments powered by Disqus


Вспомним другие новости из этого раздела?


Internet и сети

←+Ctrl+→

Интересные новости
Google закроет потребительскую версию Google+ в апреле 2019Google закроет потребительскую версию Google+ в апреле 2019
Джон Мюллер о плохих ссылках и файле DisavowДжон Мюллер о плохих ссылках и файле Disavow
Facebook ввел секс-цензуруFacebook ввел секс-цензуру
Отчёт об ошибках AMP в Search Console станет менее детализированнымОтчёт об ошибках AMP в Search Console станет менее детализированным
Киберполиция закрыла два офиса брокера бинарных опционов в КиевеКиберполиция закрыла два офиса брокера бинарных опционов в Киеве
Блок рекламы


Похожие новости

В медийных кампаниях Google Ads теперь можно выбрать оплату за конверсииВ медийных кампаниях Google Ads теперь можно выбрать оплату за конверсии
Google Ads анонсировал новое CTA-расширение для видеорекламыGoogle Ads анонсировал новое CTA-расширение для видеорекламы
Глава Google Конгрессу США: прямо сейчас мы не планируем запуск поисковика в КитаеГлава Google Конгрессу США: прямо сейчас мы не планируем запуск поисковика в Китае
Google: смена хостинга не приводит к снижению позиций сайтаGoogle: смена хостинга не приводит к снижению позиций сайта
Google передал права на домен Duck.com поисковику DuckDuckGoGoogle передал права на домен Duck.com поисковику DuckDuckGo
Google добавил визуальный поиск Lens в своё приложение для iOSGoogle добавил визуальный поиск Lens в своё приложение для iOS
Google закроет потребительскую версию Google+ в апреле 2019Google закроет потребительскую версию Google+ в апреле 2019
Google сделал кликабельными URL в поисковых сниппетахGoogle сделал кликабельными URL в поисковых сниппетах
В Австралии хотят проверить Facebook и GoogleВ Австралии хотят проверить Facebook и Google
Google Data Studio интегрировался с KaggleGoogle Data Studio интегрировался с Kaggle
Последние новости

Подгружаем последние новости