Google: недействительные URL должны возвращать ошибку 404, а не 5xx

На днях сотрудник Google Джон Мюллер ответил на вопрос о том, как обходиться с недействительными URL на сайте.

По его словам, такие URL должны возвращать ошибку 404, чтобы Google было понятно, что они не существуют. Ошибки 5хх не передают такой сигнал.

Один из вебмастеров написал в Twitter:

«Получил сегодня предупреждение в Google Search Console о том, что одна из моих страниц возвращает ошибку 5xx. Как выяснилось, речь идёт об упоминании нашей ссылки в примечаниях к научной статье в PDF-формате. Поскольку сразу после URL идёт двоеточие, ссылка нерабочая. Не думал, что Google способен находить такие ссылки».

Отвечая на этот твит, Мюллер не стал рассуждать на тему возможностей Googlebot. Вместо этого он сосредоточился на тех кодах ответах сервера, которые возвращаются по недействительным страницам.

Он отметил, что владельцы сайтов должны избегать появления ошибок 5xx:

«Если URL являются невалидными для вашего сайта, то вы должны возвращать ошибку 404, чтобы было понятно, что они для вас недействительны».

Отвечая на сопутствующий вопрос, Мюллер также заявил, что пока в интернете существуют сигналы для 404 страниц, Google будет пытаться их обработать.

«Пока у нас есть сигналы для этих URL (даже если это случайная ссылка где-то в интернете), мы будем периодически пытаться их просканировать».

Напомним, ранее стало известно, что Google не понижает сайты за ссылки на страницы 404. Поисковик также не сканирует содержимое страницы, если видит, что сервер возвращает ошибку 404. Поэтому наполнять эти страницы контентом с точки зрения поисковой оптимизации (а не UX) не имеет большого смысла.