Google не рекомендует использовать robots.txt для блокировки URL с параметрами

Google настоятельно не рекомендует использовать robots.txt для блокировки индексации URL с параметрами. Об этом заявил сотрудник поиска Джон Мюллер, отвечая на вопрос одного из вебмастеров в Twitter.

По словам Мюллера, если используется такой способ блокировки, то Google не может каноникализировать URL-ы, и сайт теряет всю ценность от ссылок на эти страницы.

Вместо этого рекомендуется использовать атрибуты rel=canonical, внутренние ссылки и т.п.

Don't use robots.txt to block indexing of URLs with parameters. If you do that, we can't canonicalize the URLs, and you lose all of the value from links to those pages. Use rel-canonical, link cleanly internally, etc.

— ? John ? (@JohnMu) November 8, 2019

Затем он подробнее объяснил, почему так плохо блокировать эти URL с помощью robots.txt:

«Если страница заблокирована в robots.txt, то мы не увидим rel=canonical и в результате можем выбрать другой URL. Если вы используете robots.txt, то мы будем обрабатывать эти URL так же, как и другие роботизированные страницы (и не будем знать, что находится на странице, поэтому есть вероятность индексации URL без содержимого)».

We wouldn't see the rel-canonical if it's blocked by robots.txt, so I'd pick either one or the other. If you do use robots.txt, we'll treat them like other robotted pages (and we won't know what's on the page, so we might index the URL without content).

— ? John ? (@JohnMu) November 8, 2019

Напомним, ранее стало известно, что если при попытке получить доступ к файлу robots.txt Googlebot видит ошибку 5xx, то он не будет сканировать сайт.

А если файл robots.txt или Sitemap появляется в результатах поиска, то это говорит о том, что у сайта проблемы, и он требует улучшений.



Коды для вставки в блог\форум




Интересные новости
Google Ads завершил тестирование месячных бюджетов для кампанийGoogle Ads завершил тестирование месячных бюджетов для кампаний
Facebook запустил десктопное приложение Messenger для более удобных видеозвонковFacebook запустил десктопное приложение Messenger для более удобных видеозвонков
Киев закупил за 54 млн камеры, которые будут распознавать лица и температуру, - "Слідство.Інфо"Киев закупил за 54 млн камеры, которые будут распознавать лица и температуру, - "Слідство.Інфо"
Zoom раскрывает персональные данные пользователей из-за ошибки в Company DirectoryZoom раскрывает персональные данные пользователей из-за ошибки в Company Directory
КП “Информатика”  до конца года будет пользоваться серверами частной фирмы за 10,5 млн гривенКП “Информатика” до конца года будет пользоваться серверами частной фирмы за 10,5 млн гривен
Блок рекламы


Похожие новости

В Тайване запретили всем госучреждениям использовать ZoomВ Тайване запретили всем госучреждениям использовать Zoom
Google тестирует новое расположение и цвет для отзывов в результатах поискаGoogle тестирует новое расположение и цвет для отзывов в результатах поиска
Данные по запросам в Google могут помочь в выявлении новых очагов COVID-19Данные по запросам в Google могут помочь в выявлении новых очагов COVID-19
Google показал, как разметка для сообщений на тему COVID-19 будет выглядеть в поискеGoogle показал, как разметка для сообщений на тему COVID-19 будет выглядеть в поиске
Доступность сайта может стать фактором ранжирования GoogleДоступность сайта может стать фактором ранжирования Google
На Картах Google появились ярлыки «Takeout» и «Delivery» для кафе и ресторановНа Картах Google появились ярлыки «Takeout» и «Delivery» для кафе и ресторанов
Власти Нью-Йорка запретили школам использовать ZoomВласти Нью-Йорка запретили школам использовать Zoom
Британский суд вынуждает Google раскрыть алгоритм ранжированияБританский суд вынуждает Google раскрыть алгоритм ранжирования
Google прекратил поддержку разметки data-vocabulary.orgGoogle прекратил поддержку разметки data-vocabulary.org
Google опубликовал руководство по созданию структурированных данных с помощью JavaScriptGoogle опубликовал руководство по созданию структурированных данных с помощью JavaScript
Последние новости

Подгружаем последние новости