Google: недействительные URL должны возвращать ошибку 404, а не 5xx

На днях сотрудник Google Джон Мюллер ответил на вопрос о том, как обходиться с недействительными URL на сайте.

По его словам, такие URL должны возвращать ошибку 404, чтобы Google было понятно, что они не существуют. Ошибки 5хх не передают такой сигнал.

Один из вебмастеров написал в Twitter:

«Получил сегодня предупреждение в Google Search Console о том, что одна из моих страниц возвращает ошибку 5xx. Как выяснилось, речь идёт об упоминании нашей ссылки в примечаниях к научной статье в PDF-формате. Поскольку сразу после URL идёт двоеточие, ссылка нерабочая. Не думал, что Google способен находить такие ссылки».

Отвечая на этот твит, Мюллер не стал рассуждать на тему возможностей Googlebot. Вместо этого он сосредоточился на тех кодах ответах сервера, которые возвращаются по недействительным страницам.

Он отметил, что владельцы сайтов должны избегать появления ошибок 5xx:

«Если URL являются невалидными для вашего сайта, то вы должны возвращать ошибку 404, чтобы было понятно, что они для вас недействительны».

In general, you should aim to avoid having URLs that trigger server errors (5xx result codes) — regardless of where they come from. If URLs are invalid for your site, you should return 404 so that it's clear that they're not valid for your site.
— ? John ? (@JohnMu) March 17, 2019

Отвечая на сопутствующий вопрос, Мюллер также заявил, что пока в интернете существуют сигналы для 404 страниц, Google будет пытаться их обработать.

«Пока у нас есть сигналы для этих URL (даже если это случайная ссылка где-то в интернете), мы будем периодически пытаться их просканировать».

As long as we have signals for that URL (even if it's just a random link somewhere), we'll keep trying it from time to time.
— ? John ? (@JohnMu) March 17, 2019

Напомним, ранее стало известно, что Google не понижает сайты за ссылки на страницы 404. Поисковик также не сканирует содержимое страницы, если видит, что сервер возвращает ошибку 404. Поэтому наполнять эти страницы контентом с точки зрения поисковой оптимизации (а не UX) не имеет большого смысла.

searchengines.ru