Google может определять дублированный контент ещё до сканирования

Во время последней видеовстречи для вебмастеров сотрудник Google Джон Мюллер рассказал, что поисковик способен определять дублированный контент ещё до того, как он будет просканирован.

Один из участников встречи поинтересовался, может ли Google расценивать франкоязычную версию страницы как дубликат англоязычной, и если да, то в каких случаях это возможно.

Мюллер ответил следующее:

«Иногда мы проактивно признаём, что что-то, вероятно, является дубликатом – ещё до того, как это просканируем…

Например, на странице имеется языковой параметр, который вы может задать для любого термина, и мы можем пройти и попробовать что-то вроде «language=English», «language=French», «language=German» …, если мы обнаружим, что все эти страницы показывают англоязычный контент, за исключением, например, «language=Spanish», тогда мы можем предположить, что этот языковой параметр не имеет отношения к этой странице, и тогда мы можем пропустить ту страницу, которая на самом деле содержит уникальный контент».

Если отойти от ситуации с разными языками, то Мюллер заявил, что Google может определять дублированный контент, если страница содержит те же параметры URL, что и страницы, которые не отличаются друг от друга.

При этом стоит учитывать, что возможны случаи, когда и страницы с уникальным контентом содержат одинаковые параметры URL, а не только дубликаты.

Чтобы избежать проблемы с тем, что Google расценивает страницы с уникальным контентом как дубликаты, рекомендуется уделять внимание тому, как генерируются параметры URL на сайте.

Мюллер также добавил, что за ситуации с ошибочным определением страниц как дубликатов не всегда ответственны вебмастера. Иногда это могут быть собственные «баги» Google.

Прослушать вопрос к Мюллеру и его ответ на него можно, начиная с отметки 27:38 на видео ниже:

Напомним, что Google не наказывает сайты за дублирование контента в разных форматах, а также не видит проблемы в дублировании PDF-файлом содержимого страницы.

А в марте 2016 года сотрудник Google Гэри Илш заявил, что вебмастерам вообще не стоит беспокоиться о дублировании контента на сайте.