Google: URL, заблокированные через robots.txt, не влияют на бюджет сканирования

Сотрудник Google Гэри Илш обновил свой пост с частыми вопросами по краулинговому бюджету. Теперь в нём появилась следующая информация:

«Вопрос. Влияют ли URL, доступ к которым закрыт через директиву Disallow в robots.txt, на бюджет сканирования?

Ответ. Нет, эти URL не влияют на краулинговый бюджет».

Based on a question from @pierrefar , i just updated the Crawl Budget blog post to include the following:Q: Do URLs I disallowed through robots.txt affect my crawl budget in any way?A: No, disallowed URLs do not affect the crawl budget.https://t.co/kVYj6XaNn0

— Gary "??" Illyes (@methode) June 21, 2019

Данный вопрос относится к директиве «User-agent: * Disallow: /» в файле robots.txt, которая блокирует доступ для веб-краулеров. Как известно, эта директива может использоваться как для запрета на сканирование всего сайта, так и отдельных URL.

Согласно Google, страницы не будут сканироваться чаще из-за того, что другие страницы заблокированы от поисковых роботов.

Напомним, что Гэри Илш опубликовал подробный пост, посвящённый краулинговому бюджету, в 2017 году. В нём он объяснил, что понимается под этим термином, какие факторы влияют на краулинговый бюджет, что такое скорость сканирования и краулинговый спрос.

В скором времени этот документбудет добавлен в качестве официального руководства Google по бюджету сканирования в Справочный центр.



Коды для вставки в блог\форум




Интересные новости
Google обновил инструмент проверки расширенных результатовGoogle обновил инструмент проверки расширенных результатов
Google практически завершил запуск January 2020 Core UpdateGoogle практически завершил запуск January 2020 Core Update
Google: структурированные данные не влияют на ранжированиеGoogle: структурированные данные не влияют на ранжирование
В Google Data Studio теперь можно создавать собственное расписание для отправки отчётовВ Google Data Studio теперь можно создавать собственное расписание для отправки отчётов
Google запускает новый дизайн результатов поиска на десктопахGoogle запускает новый дизайн результатов поиска на десктопах
Блок рекламы


Похожие новости

Google предупредил о сбое в работе отчёта о структурированных данныхGoogle предупредил о сбое в работе отчёта о структурированных данных
Google: структурированные данные не влияют на ранжированиеGoogle: структурированные данные не влияют на ранжирование
Google практически завершил запуск January 2020 Core UpdateGoogle практически завершил запуск January 2020 Core Update
В Google Data Studio теперь можно создавать собственное расписание для отправки отчётовВ Google Data Studio теперь можно создавать собственное расписание для отправки отчётов
Google запустил новый органический блок с популярными товарамиGoogle запустил новый органический блок с популярными товарами
Google запустил новую программу My Business ProviderGoogle запустил новую программу My Business Provider
Google покупает стартап в области технологий для розничных магазинов PointyGoogle покупает стартап в области технологий для розничных магазинов Pointy
Google Chrome перестанет поддерживать third-party cookiesGoogle Chrome перестанет поддерживать third-party cookies
Google Ads сделает Parallel Tracking обязательным для видеорекламы в мартеGoogle Ads сделает Parallel Tracking обязательным для видеорекламы в марте
Google обновил инструмент проверки расширенных результатовGoogle обновил инструмент проверки расширенных результатов
Последние новости

Подгружаем последние новости