Джон Мюллер рассказал, как Google находит сайты без ссылок

Сотрудник Google Джон Мюллер объяснил, как Googlebot находит сайты в том случае, когда внешние ссылки на них отсутствуют.

Вопрос на эту тему был задан на Reddit:

«Как Googlebot находит сайт, если на него никто не ссылается, и он не добавлен в Search Console?».

В ответ Мюллер отметил, что точно обозначить, как Google находит такие сайты, непросто. Среди возможных источников информации он упомянул следующие:

• Сторонние сервисы, которые отслеживают регистрации доменов;
• Случайные ссылки, возникающие в результате опечаток в URL;
• Тулбары, которые ссылаются на соответствующий контент;
• Карты сайта или RSS/Atom-фиды, генерируемые CMS.

Если же владелец сайта не хочет, чтобы его ресурс был найден, то ему нужно использовать тег noindex.

Для более эффективного запуска нового сайта Мюллер рекомендует использовать следующий подход:

«Если вы хотите запустить что-то новое (при условии, что речь идёт о новом/неизвестном домене), то одной из идей может быть использование инструмента удаления сайта для того, чтобы скрыть его в поиске, а затем отмена этого запроса после запуска сайта. Это позволит Google предварительно просканировать и проиндексировать контент, но предотвратит его показ в результатах поиска».

Согласно Мюллеру, этот метод более быстрый, чем переключение от тега noindex к индексируемому контенту. Но при этом нет никаких гарантий, что в данном случае сайт будет найден другими поисковиками, а не только Google.