В Google Webmaster Tools обновлён инструмент проверки файлов robots.txt
Google
Усовершенствованный
Обновление призвано помочь вебмастерам решить проблему поиска директив, блокирующих конкретные URL-ы внутри больших файлов robots.txt.
Обновлённая версия robots.txt testing tool:
- покажет, в какой конкретно строке программного кода интересующая страница закрыта от индексации.
- позволит произвести проверку всех изменений, внесённых в файл robots.txt перед его загрузкой;
- обеспечит возможность просмотра более ранних версий файла robots.txt для отслеживания случаев запрета сканирования поисковым роботом.
Специалисты Webmaster Tools рекомендуют проводить двойную проверку файла robots.txt, дополнительно используя другие инструменты сервиса: например, функцию
Представители поиска также предупреждают: в случаях, когда Googlebot обнаруживает внутреннюю ошибку сервера 500, допущенную при добавлении контента в файлы robots.txt file, Google автоматически приостанавливает сканирование веб-сайта.