Если файл robots.txt возвращает ошибку 5xx, то Google не будет сканировать сайт

Если Googlebot не может получить доступ к файлу robots.txt из-за ошибки 5xx, то он не будет сканировать сайт. Об этом заявил один из сотрудников команды поиска на Google Webmaster Conference, которая прошла в начале этой недели в штаб-квартире компании GooglePlex.

Согласно Google, при сканировании robots.txt ошибка 5xx возвращается в 5% случаев, в 69% — краулер получает код ответа сервера 200 или 404, а в 26% — файл robots.txt совсем недоступен.

После выхода материала Search Engine Land, в котором изначально говорилось о том, что Google не будет сканировать сайт, если файл robots.txt существует, но недоступен (т.е. в 26% случаев), в Twitter начали активно обсуждать этот вопрос. Совместными усилиями западным специалистам удалось выяснить, что на самом деле речь шла о 5% случаев, когда сервер возвращает ошибку 5xx.

Соответствующая поправка была внесена и в статью Search Engine Land.

Если файла robots.txt нет, то Google будет считать, что никаких запретов на сканирование нет:

I was in the room, this is what was said…. Indeed, 404 = crawl anywhere. If you didnt have a robots.txt file, Google would still crawl you, this is that. 5xx's are considered a crawl block.

— Martin MacDonald (@searchmartin) November 5, 2019

Основатель Yoast SEO Джуст де Вальк также поинтересовался, какая часть из 26% случаев, когда robots.txt недоступен, относится к WordPress, и стоит ли обратить внимание на то, как WP генерирует эти файлы.

Сотрудник Google Гэри Илш ответил, что с WP обычно нет проблем, но он ещё дополнительно проверит.

WP is usually fine i think as it doesn't control network afaik, and someone must've misconfigured something real bad if the robotstxt comes back with 5xx. That said, I'll run an analysis and then i can say for sure

— Gary "?????" Illyes (@methode) November 6, 2019

Прочитать подробнее о заявлениях Google по поводу сканирования и ознакомиться с другими интересными тезисами из докладов сотрудников поиска на Webmaster Conference можно в нашем материале по ссылке.



Коды для вставки в блог\форум




Интересные новости
Google объявил о глобальном запуске BERTGoogle объявил о глобальном запуске BERT
Google Analytics добавил новые функции для ресурсов App + WebGoogle Analytics добавил новые функции для ресурсов App + Web
Пользователи Yahoo Groups получили больше времени на сохранение своих данныхПользователи Yahoo Groups получили больше времени на сохранение своих данных
Джон Мюллер о влиянии ссылок со «взрослых» сайтов на позицииДжон Мюллер о влиянии ссылок со «взрослых» сайтов на позиции
Google BERT в поиске на всех языках охватывает около 10% запросовGoogle BERT в поиске на всех языках охватывает около 10% запросов
Блок рекламы


Похожие новости

Разметка для Assistant теперь также работает за пределами Google NewsРазметка для Assistant теперь также работает за пределами Google News
Google облегчил перенос локальных данных в облако для предприятийGoogle облегчил перенос локальных данных в облако для предприятий
Google начал показывать доступность товаров в поиске по картинкамGoogle начал показывать доступность товаров в поиске по картинкам
Google тестирует рекламу местных услуг для риелторовGoogle тестирует рекламу местных услуг для риелторов
Google начал показывать карусели отзывов на панелях местных компанийGoogle начал показывать карусели отзывов на панелях местных компаний
Google начал использовать BERT для создания каруселей с новостямиGoogle начал использовать BERT для создания каруселей с новостями
Google BERT в поиске на всех языках охватывает около 10% запросовGoogle BERT в поиске на всех языках охватывает около 10% запросов
Google Analytics добавил новые функции для ресурсов App + WebGoogle Analytics добавил новые функции для ресурсов App + Web
Google представил новый Publisher Center для издателейGoogle представил новый Publisher Center для издателей
Google и Facebook выпали из списка лучших мест для работы в СШАGoogle и Facebook выпали из списка лучших мест для работы в США
Последние новости

Подгружаем последние новости