В Google рассказали, что такое краулинговый бюджет

Аналитик отдела качества поиска Google Гэри Илш опубликовал подробный пост, посвящённый краулинговому бюджету. В нём он объяснил, что понимается под этим термином, какие факторы влияют на краулинговый бюджет, что такое скорость сканирования и краулинговый спрос.

По словам Илша, для большинства сайтов краулинговый бюджет – это то, о чём им точно не стоит беспокоиться. Обращать внимание на бюджет сканирования стоит лишь крупным сайтам.

«Приоритезация того, что нужно сканировать, когда, и сколько ресурсов может выделить сервер, более важно для крупных сайтов или же ресурсов с динамическими страницами, создаваемыми на основании заданных параметров», — отметил Илш.

Возможность ограничения скорости сканирования создана для того, чтобы Google не обрабатывал слишком много страниц сайта слишком быстро. Это позволяет избежать излишней нагрузки на сервер.

Краулинговый спрос (crawl demand) представляет собой количество страниц, которые хочет просканировать Google. Этот показатель основан на популярности страниц сайта и актуальности контента в индексе поисковой системы.

Краулинговый бюджет объединяет в себе скорость сканирования и краулинговый спрос. В Google под краулинговым бюджетом понимают количество URL, которые Googlebot хочет и может просканировать.

Факторы, влияющие на краулинговый бюджет

В Google выяснили, что наличие на сайте большого количества низкокачественных страниц может оказать негативное влияние на его сканирование и индексирование. Ниже – перечень категорий, в которые попадают эти страницы (в порядке убывания значимости):

  • Фасетная навигация и идентификаторы сессий;
  • Дубликаты;
  • Страницы, возвращающие ошибку soft 404;
  • Взломанные страницы;
  • Низкокачественный и спамный контент;
  • URL, создающие бесконечные пространства (такие, как календари).

Растрачивание ресурсов сервера на эти страницы приведёт к снижению активности сканирования действительно ценных страниц. В конечном итоге это может привести к тому, что качественный контент сайта будет индексироваться с задержкой.

FAQ по краулинговому бюджету

Влияет ли скорость сайта на краулинговый бюджет? Как насчёт ошибок сканирования?

Уменьшение скорости загрузки сайта улучшает UX, одновременно повышая скорость сканирования. Для Googlebot быстрый сайт – это признак хорошей работы серверов. А это значит, что поисковый робот может просканировать больше контента за одно и то же количество соединений. В то же время значительное число ошибок 5хх сигнализирует об обратном, и сканирование сайта замедляется.

Мы рекомендуем следить за отчётом «Ошибки сканирования» в Search Console и поддерживать количество ошибок сервера на низком уровне.

Является ли сканирование фактором ранжирования?

Увеличение скорости сканирования не обязательно приведёт к повышению позиций сайта в выдаче. Google использует в ранжировании сотни сигналов. Хотя сканирование необходимо для присутствия сайта в результатах поиска, оно не является сигналом для ранжирования.

Расходуется ли краулинговый бюджет на альтернативные URL и встроенный контент?

Обычно учитываются все URL, которые сканирует Googlebot. Альтернативные URL (AMP, hreflang) и встроенный контент (CSS, JavaScript) также сканируются. Соответственно, на них расходуется краулинговый бюджет. То же самое касается и цепочек редиректов.

Могу ли я контролировать Googlebot с помощью директивы «crawl-delay»?

Googlebot не обрабатывает директиву «crawl-delay».

А директива nofollow влияет на краулинговый бюджет?

Бывает по-разному. Любой URL, который сканируется, влияет на краулинговый бюджет. Поэтому, даже если URL содержит директиву nofollow, он может по-прежнему сканироваться в том случае, если на другой странице на сайте или любой другой странице в интернете эта ссылка не помечена как nofollow.







Интересные новости
Дети обмениваются порно-фото и выкладывают их в Сеть, а взрослые не понимают Интернет-слэнг
Марк Цукерберг раскритиковал "Социальную сеть"
Американских игроков начали сажать
1го апреля один из сайтов дошутился: на него подают в суд
Масоны онлайн
Блок рекламы


Похожие новости

Чатбот зі штучним інтелектом від Google вже доступний в Україні: що він можеЧатбот зі штучним інтелектом від Google вже доступний в Україні: що він може
Axios: Як Google намагається протистояти у сфері ШІ компаніям Microsoft та OpenAIAxios: Як Google намагається протистояти у сфері ШІ компаніям Microsoft та OpenAI
Google помилково відіслала деяким користувачам Google Pay від $10 до $1000Google помилково відіслала деяким користувачам Google Pay від $10 до $1000
Google порахував, скільки мільярдів доходу отримали українські стартапи у 2022 роціGoogle порахував, скільки мільярдів доходу отримали українські стартапи у 2022 році
«Податок на Google»: Держбюджет вже отримав 6,3 мільярда«Податок на Google»: Держбюджет вже отримав 6,3 мільярда
Google запускає чат-бот Bard для конкуренції з ChatGPTGoogle запускає чат-бот Bard для конкуренції з ChatGPT
Фонд держмайна починає співпрацю з Google: що це значитьФонд держмайна починає співпрацю з Google: що це значить
У 2022 році російські хакери атакували Україну на 250% частіше – GoogleУ 2022 році російські хакери атакували Україну на 250% частіше – Google
Google запускає конкурента ChatGPT для перших тестувальниківGoogle запускає конкурента ChatGPT для перших тестувальників
Google представив новий інструмент: можна видалити інформацію про себе із ІнтернетуGoogle представив новий інструмент: можна видалити інформацію про себе із Інтернету
Последние новости

Подгружаем последние новости