Google рассказал о проблемах при сканировании JavaScript

На конференции Google I/O, которая состоялась на прошлой неделе, сотрудники поиска рассказали о проблемах, связанных со сканированием и индексированием JavaScript.

Согласно Google, поисковый робот обрабатывает страницы, на которых активно используется JavaScript, в два этапа: первичное сканирование, а затем, несколько дней спустя, полный рендеринг. Однако с этим двухэтапным подходом связаны определённые проблемы, которые могут привести к тому, что в некоторых случаях Google может пропустить критически важные данные.

В частности, на втором этапе индексирования Googlebot не проверяет такие вещи, как атрибуты rel=canonical и метатеги. В результате, если они не были обработаны на первом этапе индексирования, в итоге они могут полностью отсутствовать и негативно влиять на индексацию и ранжирование.

Например, если сайт является PWA, созданным на основе модели одностраничного приложения, то есть вероятность, что все URL имеют некий базовый шаблон ресурсов, которые затем заполняются контентом через AJAX или Fetch-запросы. В данном случае, если сайт полагается на рендеринг на стороне клиента, при первичной обработке канонические теги выявлены не будут. А поскольку во время второго этапа индексирования Googlebot не проверяет канонические теги вообще, то в итоге они будут полностью отсутствовать.

Кроме того, если пользователь запрашивает URL, который не существует, а JS-сайт пытается вернуть страницу с ошибкой 404, то это также будет пропущено.

Сотрудник поиска Джон Мюллер подтвердил эту информацию в Twitter:

We (currently) only process the rel=canonical on the initially fetched, non-rendered version.

— John ?.o(???)o.? (@JohnMu) May 10, 2018

Во время совместной сессии с Томом Гринуэем он также подчеркнул, что на самом деле это не второстепенные, а важные проблемы.

«Важно отметить, что это не мелкие, а реальные проблемы, которые могут повлиять на индексируемость сайта. Метаданные, канонические теги, HTTP-коды, которые я упомянул в начале этой беседы – всё это реально важно для того, как поисковые краулеры понимают контент на ваших страницах».

Мюллер также рассказал, что у сайта Google I/O также были эти проблемы, которые привели к тому, что Google пришлось поменять подход к рендерингу этой страницы, чтобы она корректно сканировалась и индексировалась.

Позже Джон Мюллер отметил, что во избежание такого рода проблем сайты могут использовать динамический рендеринг, при котором они показывают полную версию Googlebot и другим краулерам, а обычную, JavaScript-версию, пользователям.

«У нас есть ещё один вариант, который мы хотели бы представить – это динамический рендеринг. По сути, динамический рендеринг – это принцип отправки обычного контента, с рендерингом на стороне клиента, пользователям и полной версии, с рендерингом на стороне сервера, поисковым системам и другим краулерам».

На вопрос, может ли такой подход расцениваться как клоакинг, Мюллер заявил, что нет, поскольку и пользователи, и Googlebot будут видеть один и тот же контент, но он будет по-разному предоставляться, чтобы Googlebot мог корректно его индексировать на первом этапе.




!

Если для Вас конкретно эта новость оказалась важной или интересной - пожалуйста, поделитесь ею в своей любимой социальной сети с помощью кнопок, расположенных под этим текстом. Это поможет нам в будущем делать более качественную подборку материалов, исходя из Ваших потребностей\интересов.




Коды для вставки в блог\форум

blog comments powered by Disqus


Вспомним другие новости из этого раздела?


Internet и сети

←+Ctrl+→

Интересные новости
Instagram запустил вопросы в Stories. Многие подумали, что они анонимныInstagram запустил вопросы в Stories. Многие подумали, что они анонимны
«Молитва за доступный общественный транспорт»: в украинском Facebook вирусится новый флешмоб«Молитва за доступный общественный транспорт»: в украинском Facebook вирусится новый флешмоб
Судебная администрация хочет создать мобильный ЦОД. Проект обойдется в десятки миллионов гривенСудебная администрация хочет создать мобильный ЦОД. Проект обойдется в десятки миллионов гривен
За распространение майнера криптовалют двум студентам с восточной Украины грозит до 5 лет тюрьмыЗа распространение майнера криптовалют двум студентам с восточной Украины грозит до 5 лет тюрьмы
Туристический сервис Booking.com прекратил работу в Крыму. Это объяснили санкциями против РФТуристический сервис Booking.com прекратил работу в Крыму. Это объяснили санкциями против РФ
Блок рекламы


Похожие новости

В Google поделились новыми фактами о работе поисковой системыВ Google поделились новыми фактами о работе поисковой системы
Тролли вывели Трампа в топ поисковой выдачи Google по запросу «идиот»Тролли вывели Трампа в топ поисковой выдачи Google по запросу «идиот»
Google тестирует новую вкладку «Location» на панели знаний для отелейGoogle тестирует новую вкладку «Location» на панели знаний для отелей
Еврокомиссия оштрафовала Google на рекордные $5 млрд за нарушение антимонопольного законодательства
Google тестирует график цен по отелюGoogle тестирует график цен по отелю
Google изменит URL перехода для поиска по картинкамGoogle изменит URL перехода для поиска по картинкам
Google стал чаще показывать превью изображений в результатах мобильного поискаGoogle стал чаще показывать превью изображений в результатах мобильного поиска
Facebook наняла главу отдела разработки чипов из GoogleFacebook наняла главу отдела разработки чипов из Google
Google Search Analytics API теперь может выдавать 25 тыс. рядов данных за разGoogle Search Analytics API теперь может выдавать 25 тыс. рядов данных за раз
Google Мой бизнес позволил добавлять кнопку звонка в записи в поискеGoogle Мой бизнес позволил добавлять кнопку звонка в записи в поиске
Последние новости

Подгружаем последние новости