Если файл robots.txt возвращает ошибку 5xx, то Google не будет сканировать сайт

Если Googlebot не может получить доступ к файлу robots.txt из-за ошибки 5xx, то он не будет сканировать сайт. Об этом заявил один из сотрудников команды поиска на Google Webmaster Conference, которая прошла в начале этой недели в штаб-квартире компании GooglePlex.

Согласно Google, при сканировании robots.txt ошибка 5xx возвращается в 5% случаев, в 69% — краулер получает код ответа сервера 200 или 404, а в 26% — файл robots.txt совсем недоступен.

После выхода материала Search Engine Land, в котором изначально говорилось о том, что Google не будет сканировать сайт, если файл robots.txt существует, но недоступен (т.е. в 26% случаев), в Twitter начали активно обсуждать этот вопрос. Совместными усилиями западным специалистам удалось выяснить, что на самом деле речь шла о 5% случаев, когда сервер возвращает ошибку 5xx.

Соответствующая поправка была внесена и в статью Search Engine Land.

Если файла robots.txt нет, то Google будет считать, что никаких запретов на сканирование нет:

I was in the room, this is what was said…. Indeed, 404 = crawl anywhere. If you didnt have a robots.txt file, Google would still crawl you, this is that. 5xx's are considered a crawl block.

— Martin MacDonald (@searchmartin) November 5, 2019

Основатель Yoast SEO Джуст де Вальк также поинтересовался, какая часть из 26% случаев, когда robots.txt недоступен, относится к WordPress, и стоит ли обратить внимание на то, как WP генерирует эти файлы.

Сотрудник Google Гэри Илш ответил, что с WP обычно нет проблем, но он ещё дополнительно проверит.

WP is usually fine i think as it doesn't control network afaik, and someone must've misconfigured something real bad if the robotstxt comes back with 5xx. That said, I'll run an analysis and then i can say for sure

— Gary "?????" Illyes (@methode) November 6, 2019

Прочитать подробнее о заявлениях Google по поводу сканирования и ознакомиться с другими интересными тезисами из докладов сотрудников поиска на Webmaster Conference можно в нашем материале по ссылке.



Коды для вставки в блог\форум




Интересные новости
Хакерская атака впервые напрямую вызвала смерть человекаХакерская атака впервые напрямую вызвала смерть человека
Власти США одобрили сделку с TikTok, сервис сможет продолжить работуВласти США одобрили сделку с TikTok, сервис сможет продолжить работу
TikTok и WeChat окажутся под запретом с 20 сентября
Китайская компания ByteDance оценила TikTok в $60 млрдКитайская компания ByteDance оценила TikTok в $60 млрд
Facebook планирует перевести 50% работников на «дистанционку» до 2030 годаFacebook планирует перевести 50% работников на «дистанционку» до 2030 года
Блок рекламы


Похожие новости

Евросоюз ужесточит контроль за Apple, Google, Amazon и FacebookЕвросоюз ужесточит контроль за Apple, Google, Amazon и Facebook
Google и Twitter будут сильнее блокировать фейки накануне выборов в СШАGoogle и Twitter будут сильнее блокировать фейки накануне выборов в США
Сторис из Instagram можно будет смотреть в приложении FacebookСторис из Instagram можно будет смотреть в приложении Facebook
Apple сделает свой Google, только без рекламы и приватныйApple сделает свой Google, только без рекламы и приватный
Ethereum опустился до критической отметки. Что будет с криптовалютойEthereum опустился до критической отметки. Что будет с криптовалютой
Распространение Wi-Fi 6E не заставит ждать: в 2021 году будет поставлено более 300 млн устройств с поддержкой нового стандартаРаспространение Wi-Fi 6E не заставит ждать: в 2021 году будет поставлено более 300 млн устройств с поддержкой нового стандарта
Google выпустила крупное обновление для своего картографического сервисаGoogle выпустила крупное обновление для своего картографического сервиса
YouTube больше не будет присылать пользователям уведомления о появлении новых видеоYouTube больше не будет присылать пользователям уведомления о появлении новых видео
Пользователи Google+ получат по $12 компенсаций за утечку личных данныхПользователи Google+ получат по $12 компенсаций за утечку личных данных
Сила монополии: Google удалит всю лицензионную датскую музыку с YouTubeСила монополии: Google удалит всю лицензионную датскую музыку с YouTube
Последние новости

Подгружаем последние новости