Google об индексировании страниц с бесконечной прокруткой

Во время недавней видеовстречи по JavaScript SEO сотрудник Google Мартин Сплитт ответил на вопрос о том, как поисковик индексирует страницы с бесконечной прокруткой. В частности, как предотвратить индексацию прокручиваемого содержимое как части основного контента.

Вопрос на эту тему задал ведущий разработчик Search Engine Journal Ваган Петросян:

«Мы внедрили бесконечную прокрутку на мобильных устройствах. Ранее она была реализована в десктопной версии сайта. Меня беспокоит, будет ли Google индексировать прокручиваемые статьи как часть основной статьи?

К AJAX URL для каждого запроса страницы применяется noindex. Есть ли гарантии, что добавленное содержимое не будет проиндексировано как часть основной веб-страницы?».

По словам Сплитта, ответ будет зависеть от того, как именно реализована бесконечная прокрутка, и что Google будет видеть в обработанном HTML.

Он также настоятельно рекомендовал использовать инструменты проверки Google, чтобы просмотреть обработанный HTML, поскольку его индексация будет зависеть от того, как реализована бесконечная прокрутка и как Google может находить дополнительный контент.

«Если используется какая-то ссылка, которая говорит нам перейти на другой URL, а этот URL не проиндексирован, то мы не увидим этот контент», — сказал Сплитт.

При этом он однозначно не ответил, будет ли Google видеть дополнительный контент или нет.

Петросян затем объяснил, как реализована бесконечная прокрутка на сайте Search Engine Journal.

«Когда вы завершаете чтение статьи, новая статья загружается через AJAX. При этом AJAX URL, который отправляет контент следующей статьи, имеет HTTP-заголовок X-Robots-Tag с директивой noindex (x-robots-tag: noindex). Так что я в некоторой степени уверен, что добавленный контент не будет проиндексирован. Но я хотел был знать, как удостовериться, что при прокрутке содержимое следующих статей не будет проиндексировано как часть основной статьи?».

Сплитт опять же ответил, что не может сказать наверняка, и это то, что нужно проверить с помощью соответствующих инструментов Google.

«Я не знаю. Я не совсем уверен в том, как мы видим обработанный HTML. Используйте инструменты тестирования, например, инструмент проверки URL, который поможет вам понять, как выглядит обработанный HTML. Если он всё ещё содержит дополнительный контент, потому что область просмотра изменилась или что-то в этом роде, тогда мы можем индексировать его как часть основной страницы».

В завершение Сплитт перечислил те вещи, которые могут приводить к проблемам с бесконечной прокруткой:

«Также может случиться так, что вы случайно присвоите noindex тому контенту, который ранее находился на странице, что в конечном итоге может привести к излишнему использованию noindex.

Я бы всегда проверял эти вещи и смотрел на обработанный HTML. Этот HTML показывает вам, что мы видим. Вы можете использовать инструмент проверки URL, чтобы увидеть, что мы просканировали.

Но вы также можете использовать живой тест, чтобы посмотреть, что мы видим, если это будет происходить снова.

Так что, всё зависит от конкретной ситуации».

Напомним, что в рамках той же видеовстречи Сплитт заявил, что двух волн сканирования/индексации не существует.

А ранее в этом месяце вышло новое видео в серии #Ask Google Webmasters , в котором сотрудники Google Джон Мюллер и Мартин Сплитт также ответили на вопросы вебмастеров по JavaScript SEO.