Rap Genius вернулся в выдачу Google всего за несколько дней

4 января 2014 года в блоге музыкального портала Rap Genius появилось сообщение о том, что ресурсу удалось полностью восстановиться в выдаче Google. Исключение сайта из выдачи поисковика произошло 25 декабря 2013 года за накрутку трафика путём размещения ссылок в сторонних блогах.

В своём посте основатели Rap Genius поблагодарили Google за открытость, прозрачность отчётов и честность, а также подробно рассказали о том, как ресурсу удалось выйти из-под наказания поисковой системы.

Однако прежде, чем перейти к рассказу об устранении нарушений, авторы публикации рассказали о том, как сайту удалось обрести широкую популярность в интернете. Rap Genius был запущен в 2009 году на некоммерческой основе четырьмя друзьями. Изначально на нем публиковались тексты песен различных реперов. Ресурс стремительно рос и развивался, став к 2013 году одной из наиболее популярных социальных площадок. Впоследствии сайт стал сотрудничать с таким медиаресурсами как: TheGrio, Esquire, Huffington Post и The Atlantiс, редакции которых нередко первыми обращались к основателям Rap Genius с просьбой написать обзор или отзыв, посвященный выходу нового музыкального альбома известного исполнителя и т.д. Понятно, что большинство ссылок в таких публикациях были органическими, и на Rap Genius естественным образом стали ссылаться сайты авторитетных изданий.

Это, безусловно, служило повышению узнаваемости и авторитетности музыкального сайта и способствовало его продвижению в выдаче Google.

Еще одной «находкой» команды Rap Genius стало размещение ссылок на треклисты альбомов популярных исполнителей прямо под релевантными публикациями. Специально для блогеров была добавлена кнопка «Встроить», позволяющая встраивать эти треклисты в свои посты. Таким образом, Rap Genius обезопасили себя от воровства контента и обеспечили приток на сайт релевантных ссылок из авторитетных блогов.

Чуть позже у владельцев Rap Genius родилась еще более смелая идея: 24 декабря 2013 года на отдельной странице в Facebook команда музыкального портала разместила публичный пост, призывающее всех владельцев блогов стать аффилиатами ресурса и, в случае заинтересованности, связаться с его владельцами по электронной почте. Всем откликнувшимся предлагалась следующая «схема сотрудничества»: «Если у вас есть пост, и вы бы хотели, чтобы мы твитнули его, и на ваш блог начал поступать массовый трафик – разместите в нем отправленную ссылку, а затем отправьте нам текст для твита, содержащий её. Мы твитнем его, и ваш трафик возрастёт до невероятных высот».

Инициатива не осталась без внимания команды Google по борьбе с поисковым спамом: в отношении сайта было проведено короткое расследование, и утром 25 декабря ресурс был полностью исключен из выдачи.

Как же Rap Genius удалось снова восстановиться в выдаче лидера поиска?

Прежде всего, команда ресурса выяснила, что Google предпринял против сайта меры наказания вручную, классифицировав нарушение как «наличие на сайте неестественных входящих ссылок».

Чтобы устранить проблему SEO-специалисты Rap Genius предприняли следующие шаги:

• Загрузили полный список всех входящих на сайт ссылок из WMT.
• Проверили все ссылки из списка на предмет несоответствия требованиям Google к качеству входящих ссылок.
• После выявления некачественных и сомнительных входящих ссылок, команда Rap Genius связалась с владельцами блогов, ссылающихся на сайт (более 590 страниц), и попросила их удалить такие ссылки или использовать атрибут rel="nofollow".

Со своей стороны специалисты Rap Genius использовали инструмент отклонения ссылок Disavow Links по отношению к тем ссылкам, которые не были удалены владельцами блогов.

По итогам анализа 3 333 страниц сайта, который был произведён вручную, удалось выявить 4 основных типа страниц:

1. Страницы, не содержащие входящих ссылок (1 791);
2. Страницы, имеющие органические ссылки (1 294);
3. Страницы, содержащие списки релевантных структурированных ссылок (169);
4. Страницы, содержащие списки нерелевантных структурированных ссылок (129)

Далее было решено удалить все ссылки со страниц 3 и 4 группы, поскольку именно такие ссылки Google обычно классифицирует как «сомнительные».

В заключение, представители Rap Genius поделились следующей статистикой: всего за 3 часа команда из 100 человек произвела анализ 178 тыс. URL-ов. Таким образом:

• Всего было обработано 177 755 страниц;
• Из них 124 286 страниц оказались качественными и содержали ссылки, соответствующие требованиям Google;
• 53 469 страниц содержали различного рода ошибки;
• Разрыв соединения по таймауту (на 20-й секунде) был замечен для 15 703 страниц;
• Ошибку 404 или Not Found («Не найдено») отдавали 13 884 страницы;
• Код состояния HTTP 403 Forbidden («Запрещено») отдавали 12 305 страниц;
• 2 951 страница отдавала ошибку 522;
• 2 759 страниц указывали на ошибку 503 Service Unavailable («Сервис недоступен»).
• 2 159 страниц выдавали код ответа по протоколу HTTP - 520.
• Еще 1 896 страниц выдавали код ответа 500 Internal Server Error («Внутренняя ошибка сервера»).

Проделав столь масштабную работу, и устранив все указанные выше проблемы, команда Rap Genius сумела убедить представителей Google в том, что сайт уделяет серьёзное внимание поисковой оптимизации в «правильном понимании». Результатом стало полное восстановление позиций сайта в выдаче.