Google подтвердил, что вызовы AJAX расходуют краулинговый бюджет

В январе 2017 года сотрудник отдела качества поиска Google Гэри Илш (Gary Illyes) опубликовал документ для вебмастеров, в котором объяснил, как работает краулинговый бюджет. Вчера он обновил этот пост, чтобы прояснить, что на вызовы AJAX также расходуется бюджет.

JFYI: based on @ajkohn 's recommendation, i added AJAX/XHR calls explicitly to the list of things that will consume your site's crawl budget.https://t.co/kVYj6XaNn0
— Gary "??" Illyes (@methode) April 23, 2019

«Как правило, любой URL, который сканируется роботом Googlebot, засчитывается в бюджет сканирования сайта. Альтернативные URL-адреса, такие как AMP или hreflang, а также встроенный контент, такой как CSS и JavaScript, включая вызовы AJAX (то есть XHR), тоже могут сканироваться и в таком случае будут потреблять краулинговый бюджет. То же самое касается длинных цепочек редиректов, которые также могут оказывать негативное влияние на сканирование», — говорится в документе.

Напомним, сотрудник Google Джон Мюллер считает, что значение краулингового бюджета и необходимости его оптимизации преувеличено. По его мнению, для большинства сайтов это не нужно, а заниматься этим имеет смысл только на действительно крупных ресурсах.

searchengines.ru