Согласно Google, файл Sitemap не является обязательным для сайтов, а использовать его следует, если ресурс попадает в одну из трёх категорий:
Крупный сайт с большим количеством страниц
Изолированные страницы на сайте
Новый сайт или сайт, который часто обновляется
Может ли Google найти страницы без файла Sitemap?
Обычно, если сайт относительно небольшой, а страницы должным образом перелинкованы, то найти контент роботу Googlebot не составит труда.
Если же сайт попадает в одну из трёх категорий, приведённых выше, то использование файла Sitemap поможет Googlebot найти новый контент и покажет, где искать изолированные страницы.
Файл Sitemap также может использоваться для приоритизации сканирования – чтобы указать, какие страницы следует сканировать в первую очередь, что полезно для крупных сайтов.
При этом Sitemap ничего не гарантирует. Другими словами, Google не всегда сканирует каждый URL, добавленный в этот файл.
Обратное тоже верно: если URL не добавлены в файл Sitemap, то это не гарантирует, что Google их не будет сканировать. Google способен находить страницы независимо от того, включены они в карту сайта или нет.
Отсутствие файла Sitemap ничем не грозит сайту
По словам Вайсберга, если у сайта нет файла Sitemap, то ничего страшного в этом нет.
Если вы сомневаетесь, нужен ли сайту файл Sitemap, то чтобы не ошибиться, его можно создать на всякий случай. В большинстве случаев сайт от этого только выиграет.
Google рекомендует автоматически генерируемые файлы Sitemap
Что касается создания файла Sitemap, то Google рекомендует использовать автоматически генерируемые карты сайта вместо тех, которые нужно составлять вручную.
Есть CMS, которые создают файлы Sitemap автоматически. Также существуют WordPress-плагины и расширения для Drupal, которые позволяют выполнить эту задачу.
Если сайт настолько большой, что ему нужно несколько файлов Sitemap, то это также вполне допустимо.
Прослушать все советы Вайсберга можно на видео ниже: