Google установил ещё более жёсткие ограничения для запросов об индексации URL

Как известно, в феврале Google обновил лимиты на количество запросов о сканировании URL. Это было сделано для того, чтобы прекратить злоупотребления этим инструментом.

Однако принятых мер оказалось недостаточно, и Google ещё больше ужесточил требования к использованию инструмента Fetch as Google в Search Console. Об этом свидетельствуют жалобы вебмастеров на то, что при попытке отправить запрос на повторное сканирование страниц,Google возвращает ошибку.

В ответ на эти жалобы сотрудник поиска Джон Мюллер заявил, что на данный момент Google установил «довольно агрессивные лимиты» и добавил:

«Я подозреваю, что со временем всё нормализуется, но я бы рекомендовал сосредоточиться на неручных методах для сканирования и индексирования (например, на файлах Sitemap)».

yeah, we have some pretty aggressive limits there at the moment. I suspect that'll settle down again over time, but in general, I'd recommend focusing on non-manual methods for normal crawling & indexing (like sitemap files :)).

— John ?.o(???)o.? (@JohnMu) March 13, 2018

В сообщении об ошибке, которое возвращает Search Console, отмечается, что для того, чтобы страница была просканирована, она должна соответствовать рекомендациям Google в отношении качества и не использовать директиву Noindex.

Напомним, что согласно новым лимитам, пользователи Search Console могут подавать до 300 запросов типа «Сканировать только этот URL» в месяц и до двух запросов типа «Сканировать этот URL и прямые ссылки» в день.