Если файл robots.txt возвращает ошибку 5xx, то Google не будет сканировать сайт

Если Googlebot не может получить доступ к файлу robots.txt из-за ошибки 5xx, то он не будет сканировать сайт. Об этом заявил один из сотрудников команды поиска на Google Webmaster Conference, которая прошла в начале этой недели в штаб-квартире компании GooglePlex.

Согласно Google, при сканировании robots.txt ошибка 5xx возвращается в 5% случаев, в 69% — краулер получает код ответа сервера 200 или 404, а в 26% — файл robots.txt совсем недоступен.

После выхода материала Search Engine Land, в котором изначально говорилось о том, что Google не будет сканировать сайт, если файл robots.txt существует, но недоступен (т.е. в 26% случаев), в Twitter начали активно обсуждать этот вопрос. Совместными усилиями западным специалистам удалось выяснить, что на самом деле речь шла о 5% случаев, когда сервер возвращает ошибку 5xx.

Соответствующая поправка была внесена и в статью Search Engine Land.

Если файла robots.txt нет, то Google будет считать, что никаких запретов на сканирование нет:

I was in the room, this is what was said…. Indeed, 404 = crawl anywhere. If you didnt have a robots.txt file, Google would still crawl you, this is that. 5xx's are considered a crawl block.

— Martin MacDonald (@searchmartin) November 5, 2019

Основатель Yoast SEO Джуст де Вальк также поинтересовался, какая часть из 26% случаев, когда robots.txt недоступен, относится к WordPress, и стоит ли обратить внимание на то, как WP генерирует эти файлы.

Сотрудник Google Гэри Илш ответил, что с WP обычно нет проблем, но он ещё дополнительно проверит.

WP is usually fine i think as it doesn't control network afaik, and someone must've misconfigured something real bad if the robotstxt comes back with 5xx. That said, I'll run an analysis and then i can say for sure

— Gary "?????" Illyes (@methode) November 6, 2019

Прочитать подробнее о заявлениях Google по поводу сканирования и ознакомиться с другими интересными тезисами из докладов сотрудников поиска на Webmaster Conference можно в нашем материале по ссылке.



Коды для вставки в блог\форум




Интересные новости
Вебмастера заметили признаки крупного обновления алгоритма GoogleВебмастера заметили признаки крупного обновления алгоритма Google
Google: объединение сайтов требует больше времени на обработку, чем смена доменаGoogle: объединение сайтов требует больше времени на обработку, чем смена домена
Google отключит старую версию YouTube на десктопахGoogle отключит старую версию YouTube на десктопах
Джон Мюллер: сайт нужно продвигать – так же, как и бизнесДжон Мюллер: сайт нужно продвигать – так же, как и бизнес
Google мог обновить свой локальный алгоритм в конце январяGoogle мог обновить свой локальный алгоритм в конце января
Блок рекламы


Похожие новости

Описание компании в GMB не влияет на ранжирование в GoogleОписание компании в GMB не влияет на ранжирование в Google
Google готовит к запуску новую версию программы Google PartnersGoogle готовит к запуску новую версию программы Google Partners
В Google прокомментировали февральское обновление алгоритмаВ Google прокомментировали февральское обновление алгоритма
Google Ads добавил аннотации для изменений в кампанияхGoogle Ads добавил аннотации для изменений в кампаниях
Неподтверждённый апдейт Google: колебания продолжаютсяНеподтверждённый апдейт Google: колебания продолжаются
Google решил проблему с записями на панелях компанийGoogle решил проблему с записями на панелях компаний
Google мог обновить свой локальный алгоритм в конце январяGoogle мог обновить свой локальный алгоритм в конце января
Джон Мюллер: сайт нужно продвигать – так же, как и бизнесДжон Мюллер: сайт нужно продвигать – так же, как и бизнес
Директор по персоналу Google покинет свой постДиректор по персоналу Google покинет свой пост
Google отключит старую версию YouTube на десктопахGoogle отключит старую версию YouTube на десктопах
Последние новости

Подгружаем последние новости