Как Google и Bing борются с веб-спамом и улучшают свои алгоритмы

Фредерик Дубут, тимлид команды по борьбе с веб-спамом Bing, и Фили Визе, бывший сотрудник Google, который работал над спамом и ручными санкциями, выступили с совместным докладом на SMX Advanced. В ходе своего выступления они рассказали о том, как обе поисковые системы улучшают свои алгоритмы и борются с таким явлением, как спам.

Разные подходы

По мнению Дубута, поисковые системы убирают спам из своих поисковых индексов, чтобы защитить пользователей от некачественных или вводящих в заблуждение результатов поиска. Они также продвигают тех, кто играет честно, и понижают тех, кто нарушает правила.

Слева - Фредерик Дубут (Bing), справа - Фили Визе (бывший сотрудник Google)

Согласно Визе, Google придерживается иного подхода. Ручные санкции, применяемые к сайтам, призваны показать владельцам сайтов, что соответствует рекомендациям Google, а что нет. Эти меры также принимаются для того, чтобы скорректировать результаты поиска, но их основная функция – обучающая, отметил Визе.

Обновления алгоритма – это не санкции

Обновления алгоритмов не являются санкциями. Они не направлены на понижение определённых сайтов. Их цель – это показ наилучших страниц по заданным запросам. Алгоритмические апдейты связаны со «входом» (input) и «выходом» (output). «Вход» контролируют владельцы сайтов, вебмастера и SEO-специалисты.

Что касается оценки качества поиска, то у Bing тоже есть асессоры и руководство для них, однако этот документ является внутренним и не размещается в общем доступе. Всего он содержит 42 страницы.

У Google руководство для асессоров состоит из 166 страниц и доступно всем желающим.

Что касается данных по кликам, то Bing использует их только при оценке качества работы поиска и не учитывает их в ранжировании.

При этом Bing, как и Google, постоянно обновляет свой алгоритм – еженедельно или чаще, в зависимости от ситуации. Но, в отличие от Google, ни о каких обновлениях не сообщает.

Визе также рассказал, что Google может использовать ручные санкции разными способами – для сайта в целом, поддомена, отдельных разделов или на постраничной основе. Сотрудники поиска также могут понижать позиции ресурсов, исключать их из индекса и применять другие меры.

Руководства для вебмастеров

И Google, и Bing имеют руководства для вебмастеров, в которых описаны основные правила поисковой системы.

В этой части доклада Дубут отметил, что Bing не имеет ничего против сайтов-аффилиатов, но они должны иметь ценность для пользователей. Google придерживается примерно той же позиции. Добавленная ценность – это критически важный момент касательно дополнительных сайтов.

Восстановление после санкций

И Google, и Bing позволяют отправить запрос на повторную проверку, что является необходимым условием для выхода из-под ручных санкций.

Такие запросы должны быть краткими, объяснять проблему и то, как она была решена. Ответ на запрос может занять от нескольких часов до нескольких недель. При этом снятие ручных санкций не означает, что сайт сразу восстановит свои позиции в ранжировании. Обычно для этого требуется больше времени.

При этом и Google, и Bing сохраняют историю нарушений по ресурсу и в случае повторных инцидентов принятые меры могут быть более жёсткими.

Чтобы сообщить о спаме, нужно использовать специальные формы (Google, Bing). При этом отправка такого отчёта не означает, что соответствующий сайт будет 100% наказан за спам.