Google: значение краулингового бюджета преувеличено

На днях сотрудник Google Джон Мюллер заявил в Twitter, что, по его мнению, значение краулингового бюджета и необходимости его оптимизации преувеличено. Для большинства сайтов это не нужно, а заниматься этим имеет смысл только на действительно крупных ресурсах.

«ИМХО, краулинговый бюджет переоценён. Большинство сайтов это не должно волновать. Это интересная тема, и если вы сканируете интернет или управляете сайтом с миллиардами URL, это важно, но не для среднестатистического владельца сайта», — написал Мюллер.

IMO crawl-budget is over-rated. Most sites never need to worry about this. It's an interesting topic, and if you're crawling the web or running a multi-billion-URL site, it's important, but for the average site owner less so.

— John ?.o(???)o.? (@JohnMu) May 30, 2018

Далее он добавил:

«Существует множество хороших практик, которым не имеет смысла препятствовать, но которые имеют нулевой SEO-эффект (например, валидный HTML, соотношение кода к тексту и т.п.). Если у вас есть время, работать над ними можно, но вы не увидите значительных изменений в поиске от этого…

Я считаю, что стоит всё же прояснить. Удаление 25 бесполезных страниц – отличное решение для более компактного сайта и может помочь пользователям не потеряться на нём, но это не вопрос краулингового бюджета».

Один из участников обсуждения, Joost de Valk, в свою очередь отметил:

«Разве речь не идёт о том, что SEO – это игра с многими очень небольшими выигрышами? Да, вы не можете измерить эффект от удаления этих 25 страниц. Но ещё 10 других небольших изменений вместе действительно могут иметь значение».

На это Мюллер ответил так:

«Конечно, но стоит быть честными в отношении размера возможного эффекта. Если мы можем сканировать 50 тыс. страниц сайта в день, повлияет ли на сканирование, если общее количество страниц уменьшить с 1000 до 900? Нет, но это может увеличить количество конверсий».

Напомним, в начале 2017 года инженер Google Гэри Илш опубликовал подробный пост, посвящённый краулинговому бюджету. В нём он объяснил, что понимается под этим термином, какие факторы влияют на краулинговый бюджет, что такое скорость сканирования и краулинговый спрос.

В целом он придерживается того же мнения, что и Мюллер: для большинства сайтов краулинговый бюджет – это то, о чём точно не нужно беспокоиться. Обращать внимание на него стоит лишь крупным ресурсам.