Яндекс ввёл новую директиву для файла robots.txt

При помощи новой директивы Clean-param в robots.txt теперь можно указывать незначащие cgi-параметры в url поисковому роботу. Робот Яндекса, используя информацию в директиве Clean-param, перестанет индексировать дублирующийся контент на страницах сайта, адреса которых содержат динамические параметры, не влияющие на их содержание. К таким параметрам относятся индетификаторы сессий, пользователей, рефереров и т.п.

Использование директивы Clean-param может позволить индексирующему роботу увеличить эффективность обхода сайта, а также снизить нагрузку на сервер.

По мнению Тимофея Любимого, эксперта по оптимизации компании SmartSEO, Clean-param достаточно необходимая директива при управлении индексацией сайта. «В целом вещь крайне полезная, т.к. наша компания как раз специализируется на больших проектах и нам проблемы индексации крайне актуальны и близки. Сложность состояла в том, что ранее поисковый робот индексировал совершенно ненужные страницы с дублирующим контентом, а до нужных страниц не доходил. Соответственно, имея такой инструмент, все эти урлы можно легко и без потерь склеить в один и дать роботу возможность идти дальше по сайту, не закачивая шлак», - комментирует Тимофей.