Google: URL, заблокированные через robots.txt, не влияют на бюджет сканирования

Сотрудник Google Гэри Илш обновил свой пост с частыми вопросами по краулинговому бюджету. Теперь в нём появилась следующая информация:

«Вопрос. Влияют ли URL, доступ к которым закрыт через директиву Disallow в robots.txt, на бюджет сканирования?

Ответ. Нет, эти URL не влияют на краулинговый бюджет».

Based on a question from @pierrefar , i just updated the Crawl Budget blog post to include the following:Q: Do URLs I disallowed through robots.txt affect my crawl budget in any way?A: No, disallowed URLs do not affect the crawl budget.https://t.co/kVYj6XaNn0

— Gary "??" Illyes (@methode) June 21, 2019

Данный вопрос относится к директиве «User-agent: * Disallow: /» в файле robots.txt, которая блокирует доступ для веб-краулеров. Как известно, эта директива может использоваться как для запрета на сканирование всего сайта, так и отдельных URL.

Согласно Google, страницы не будут сканироваться чаще из-за того, что другие страницы заблокированы от поисковых роботов.

Напомним, что Гэри Илш опубликовал подробный пост, посвящённый краулинговому бюджету, в 2017 году. В нём он объяснил, что понимается под этим термином, какие факторы влияют на краулинговый бюджет, что такое скорость сканирования и краулинговый спрос.

В скором времени этот документбудет добавлен в качестве официального руководства Google по бюджету сканирования в Справочный центр.




!

Если для Вас конкретно эта новость оказалась важной или интересной - пожалуйста, поделитесь ею в своей любимой социальной сети с помощью кнопок, расположенных под этим текстом. Это поможет нам в будущем делать более качественную подборку материалов, исходя из Ваших потребностей\интересов.




Коды для вставки в блог\форум

blog comments powered by Disqus


Вспомним другие новости из этого раздела?


Internet и сети

←+Ctrl+→

Интересные новости
Facebook заблокировал страницу "Книги памяти павших за Украину"Facebook заблокировал страницу "Книги памяти павших за Украину"
Google тестирует возможность делиться результатами поискаGoogle тестирует возможность делиться результатами поиска
Facebook сделает причины показа рекламы более понятными для пользователейFacebook сделает причины показа рекламы более понятными для пользователей
Amazon строит дата-центр в Запорожской области: что не так с этой новостью
Google Ads предупредил о сбое в работе географических отчётовGoogle Ads предупредил о сбое в работе географических отчётов
Блок рекламы


Похожие новости

Google решил проблему с расширенными результатами для кулинарных сайтовGoogle решил проблему с расширенными результатами для кулинарных сайтов
Дональд Трамп: Google должен быть проверен на предмет возможных связей с КитаемДональд Трамп: Google должен быть проверен на предмет возможных связей с Китаем
4 из 7 организаторов массовых протестов в Google ушли из компании4 из 7 организаторов массовых протестов в Google ушли из компании
Google решил проблему с пропажей бизнес-профилей из результатов поискаGoogle решил проблему с пропажей бизнес-профилей из результатов поиска
Google Earth запустил новые функции в честь 50-летия высадки человека на ЛунуGoogle Earth запустил новые функции в честь 50-летия высадки человека на Луну
Google прекращает поддержку мобильных приложений AdSenseGoogle прекращает поддержку мобильных приложений AdSense
Бывший инженер Google: поисковик не использовал PageRank с 2006 годаБывший инженер Google: поисковик не использовал PageRank с 2006 года
Google тестирует возможность делиться результатами поискаGoogle тестирует возможность делиться результатами поиска
Google Ads предупредил о сбое в работе географических отчётовGoogle Ads предупредил о сбое в работе географических отчётов
Google объяснил, с чем связана пропажа отзывов и профилей компаний из результатов поискаGoogle объяснил, с чем связана пропажа отзывов и профилей компаний из результатов поиска
Последние новости

Подгружаем последние новости