Специалист отдела качества поиска Google Джон Мюллер заявил, что googlebot может распознать дублирующий контент еще до сканирования
В некоторых случаях боту даже не нужно сканировать страницы для того, чтобы понять, что у страниц одинаковый контент.
В первую очередь вебмастерам стоит обращать внимание на параметры URL страниц: googlebot может посчитать страницы идентичными, если их параметры совпадают.
Если на сайте есть две страницы на разных языках, рекомендуется поставить тег language.
Иногда ошибки могут возникнуть не по вине вебмастеров, а из-за багов поисковой системы.
