Джон Мюллер: как заблокировать Google доступ к тестовому сайту

Во время последней видеовстречи для вебмастеров сотрудник Google Джон Мюллер рассказал, как заблокировать поисковику доступ к тестовому серверу.

Обычно для блокировки индексации тестовых сайтов создаётся файл robots.txt, который запрещает поисковикам сканировать страницы ресурса.

Джон Мюллер предложил более эффективное решение. В частности, он рекомендует использовать аутентификацию на стороне сервера.

«В идеале нужно обеспечить server-side аутентификацию на сервере, чтобы пользователи, включая Googlebot, не могли видеть контент. Это можно сделать на основе IP-адреса, с помощью cookie или обычной аутентификации на сервере… Мне кажется, что это наилучший подход для тестовых серверов», — сказал Мюллер.

Он также напомнил, что если на страницу есть ссылки с других ресурсов, то Google может переходить по ним и сканировать содержимое, несмотря на запрет в файле robots.txt.

Прослушать ответ Мюллера можно, начиная с отметки 42:30 на видеозаписи ниже: