Как сообщить поисковому роботу, что сайт запланировано отключен

Команда качества поиска Google обнародовала методы, которые позволяют справляться с запланированным простоем веб-сайта без отрицательного действия на его видимость в результатах поиска.

Для того чтобы недоступность сайта, вызванная техническими причинами (закрытие на обслуживание или редизайн) не влияла негативно на репутацию сайта, рекомендуется ее должным способом обозначить:

• При запросе страницы сайта вместо возврата кода статуса HTTP 404 (Не найдено) или показа ошибки на веб-странице с кодом статуса 200 (OK), лучше всего возвратить код статуса 503 (Сервис недоступен), который сообщает поисковику, что простой временный. Более того, это позволяет веб-мастерам предоставлять посетителям и ботам информацию о том, когда веб-сайт восстановит свою работу.

• Если известны продолжительность простоя в секундах или предположительные дата и время завершения простоя, то они могут быть указаны в поле заголовка Retry-After, используемом Googlebot’ом для определения подходящего момента переиндексации URL.

Ответ сервера кодом состояния 503 может быть хорошим решением и в других ситуациях. Хорошей практикой считается возвращать код состояния 503 «Сервис недоступен» для ошибок сервера, недоступности сайта, перерасхода трафика или страниц-заглушек (в том числе и «Сайт закрыт на реконструкцию»). На случай запланированных простоев сервера, таких как ремонт аппаратного обеспечения, стоит иметь отдельный сервер, который бы возвращал код 503.

Тем не менее, важно не относиться к коду статуса 503 как к постоянному решению проблемы: продолжительная выдача 503 может рассматриваться как знак, что сервер стал постоянно недоступен, в результате чего он может быть удален из индекса Google.

Олег Сахно, (ИнтерЛабс): «Сотрудники Google дают важные и полезные советы. К сожалению, для большинства оптимизаторов, такая настройка сервера недоступна. Разработчики очень редко задумываются над тем, чтобы прописывать такие заголовки (часто отсутствует элементарный 404 код ответа), а оптимизатору эта возможность в большинстве случаев недоступна.
Например, когда мы проводили исследование наличия файла robots.txt на сайтах из каталога Яндекса, заметное число сайтов вернуло 404 код ответа сервера, но только на 23 сайтах был 503 ответ. Это около 5% от всех не ответивших сайтов».