Google: ранжирование файла robots.txt или Sitemap – это плохой знак для сайта

На днях сотрудники Google Гэри Илш и Джон Мюллер опубликовали несколько твитов на тему индексации файлов robots.txt и Sitemap.

Обсуждение начал Гэри Илш, который заявил, что файл robots.txt может индексироваться и ранжироваться в результатах поиска Google. По его словам, «c точки зрения индексирования, robots.txt – это всего лишь URL, контент которого может индексироваться».

Triggered by an internal question: robots.txt from indexing point of view is just a url whose content can be indexed. It can become canonical or it can be deduped, just like any other URL.It only has special meaning for crawling, but there its index status doesn't matter at all. pic.twitter.com/bBMXy1XcRF

— Gary "?????" Illyes (@methode) November 6, 2019

В ответ на это Джон Мюллер написал, что запретить индексацию файлов robots.txt и Sitemap можно с помощью HTTP-заголовка X-Robots-Tag.

При этом он отметил, что если эти файлы ранжируются по обычным запросам (без site:), то это обычно признак того, что у сайта плохи дела и он требует улучшений.

https://twitter.com/JohnMu/status/1192434849216434177

Для блокировки индексации можно использовать и директиву disallow:

Tip: "disallow: /" also includes /robots.txt.

— ? John ? (@JohnMu) November 7, 2019

Мюллер также добавил, что Google не нужно индексировать файл Sitemap, поскольку он обрабатывается по-другому:

«Файл Sitemap обычно предназначен для прямого использования программами, его не нужно индексировать».

We wouldn't see the rel-canonical if it's blocked by robots.txt, so I'd pick either one or the other. If you do use robots.txt, we'll treat them like other robotted pages (and we won't know what's on the page, so we might index the URL without content).

— ? John ? (@JohnMu) November 8, 2019

Напомним, ранее стало известно, что если файл robots.txt возвращает ошибку 5xx, то Google не будет индексировать сайт.



Коды для вставки в блог\форум




Интересные новости
Німеччина запропонувала ЄС запровадити санкції проти Росії за кібератакуНімеччина запропонувала ЄС запровадити санкції проти Росії за кібератаку
Facebook закрыл 35 украинских страниц за фейки. На их рекламу потратили $1,93 миллионаFacebook закрыл 35 украинских страниц за фейки. На их рекламу потратили $1,93 миллиона
Как отреагировали криптовалюты на новости о взломе индийской биржиКак отреагировали криптовалюты на новости о взломе индийской биржи
Криптобиржа Coinbase разместит акции на фондовом рынкеКриптобиржа Coinbase разместит акции на фондовом рынке
Музичний стрімінговий сервіс Spotify з 15 липня буде доступний в УкраїніМузичний стрімінговий сервіс Spotify з 15 липня буде доступний в Україні
Блок рекламы


Похожие новости

Google впервые будет платить СМИ за новостиGoogle впервые будет платить СМИ за новости
Google выплатит по $1000 всем сотрудникам, работающим из домаGoogle выплатит по $1000 всем сотрудникам, работающим из дома
Сотрудники Google, Facebook и других гигантов будут работать из дому до конца годаСотрудники Google, Facebook и других гигантов будут работать из дому до конца года
После 19 лет работы из Google ушел главный "серый кардинал" компанииПосле 19 лет работы из Google ушел главный "серый кардинал" компании
Google провёл ребрендинг Hangouts Chat и Hangouts MeetGoogle провёл ребрендинг Hangouts Chat и Hangouts Meet
Google: как выбрать структуру URL для AMP-страницGoogle: как выбрать структуру URL для AMP-страниц
Google опубликует серию кейсов, показывающих ценность SEOGoogle опубликует серию кейсов, показывающих ценность SEO
Google возобновляет публикацию новых отзывов, Q&A и фото в профилях компанийGoogle возобновляет публикацию новых отзывов, Q&A и фото в профилях компаний
Во Франции обязали Google платить новостным издателям за контентВо Франции обязали Google платить новостным издателям за контент
Технология Google Duplex стала доступна в Австралии, Канаде и ВеликобританииТехнология Google Duplex стала доступна в Австралии, Канаде и Великобритании
Последние новости

Подгружаем последние новости