Мэтт Каттс о Google, спаме и SEO-сообществе

На днях Брайан Маккалоу, автор и ведущий подкаста по истории интернета, опубликовал интервью с бывшим главой команды по борьбе с веб-спамом Google Мэттом Каттсом.

Барри Шварц из Search Engine Roundtable подготовил краткий конспект интервью. Основные пункты:

• Когда Каттс впервые обнаружил спам в Google

Мэтт рассказал, что Сергей Брин выступил на конференции, посвящённой поисковому маркетингу, где заявил, что в Google нет спама. Примерно в то же время Мэтт разработал классификатор для порно и использовал PageRank как способ отфильтровать плохие сайты. При этом он заметил, что один сайт занимал высокие позиции в Google, хотя не должен был. Владельцы этого сайта использовали истёкшие домены с большим количеством качественных ссылок, чтобы спамить Google. Увидев это, Каттс понял, что спамить Google можно.

• Отношение руководства Google к информации о спаме

Каттс поделился своими наблюдениями с основателями Google – Сергеем Брином и Ларри Пейджем. Однако они настаивали, что у Google нет проблем со спамом. На тот момент они утверждали, что если 8 из 10 результатов поиска по запросу [античное стекло] относятся к одной компании, то да, нужно принимать меры. Однако во всех остальных случаях ничего предпринимать не нужно. По словам Каттса, в тот период ему было очень сложно работать. Он пытался донести важность проблемы веб-спама до основателей, а они не считали это проблемой.

• Когда поменялось отношение к веб-спаму в Google

Мэтт был вынужден отступить и подождать, пока ситуация со спамом не ухудшится. В 2004 году был запущен Orkut (прекратившая работу социальная сеть Google). В тот период Ларри Пейдж активно читал Slashdot (англоязычный новостной сайт, специализирующийся на технических темах), а там практически все критиковали компанию за запуск странной социальной сети в то время, когда у неё серьёзные проблемы с результатами поиска. Тогда всё изменилось. И это был примерно 2005 год.

• Как Каттс стал главой команды по борьбе с веб-спамом

Поскольку Каттс занимался проблемой веб-спама раньше, его попросил возглавить команду, которая будет с ним бороться. Эта команда существовала с 2001 года и состояла из примерно 8 человек. Изначально они занимались качеством поиска, т.е. не только спамом, но и вопросами скорости и т.д. Мэтт сосредоточился именно на спаме. Инженеры этого подразделения могли менять любую часть алгоритма.

• Работа с SEO-сообществом

Мэтт активно участвовал в обсуждениях на форуме WebmasterWorld, ездил на конференции и использовал полученную обратную связь для улучшения алгоритма. В Google поняли, что SEO – это не только использование запрещённых тактик, попытки манипулировать результатами поиска и покупка ссылок. Поисковой оптимизацией занимались по большей части небольшие компании, которые хотели улучшить свой бизнес.

• Как Каттс стал интернет-знаменитостью

Примерно в 2005 году Мэтт начал вести свой блог. Затем он начал снимать видео для вебмастеров. Иногда их количество достигало 20 в день. Люди узнали, кто такой Мэтт Каттс и как он выглядит. Его начали узнавать. Впервые это произошло в одном из аэропортов в Индии. Тогда он понял, что ему нужно привлекать к этой работе и других людей.

• Как Каттс справлялся с нападками со стороны вебмастеров

В SEO-сообществе Каттса уважали, но ситуации бывали разные. Мэтт признался, что 2-3 раза ему угрожали смертью. Но это были единичные случаи. В целом он старался уважительно относиться ко всем и видел то же отношение в ответ.

• Машинное обучение в работе Google

Используется ли в работе поисковой системы машинное обучение и в каком объёме? По мнению Каттса, сейчас в работе Google машинное обучение используется довольно широко. Однако Амит Сингхал (бывший глава по поиску Google) говорил, что если позволить нейросетям делать всё, то при появлении плохих результатов нельзя будет узнать, в чём причина. Поэтому важно разделение на отдельные блоки и очень важно участие человека. Использование машинного обучения в этих блоках может быть полезным, но не во всём алгоритме.

Каттс отметил, что после его ухода в Google, скорее всего, стали ещё больше использовать машинное обучение. Однако на тот момент, когда он работал в компании, было важно, чтобы человек мог определить, что пошло не так.

Что касается первичного алгоритма PageRank, запатентованного Пейджем и Брином, то основная цель этой модели по-прежнему актуальна. Сам же алгоритм, скорее всего, претерпел значительные изменения.

• Отход от SEO-сообщества

Каттс рассказал, что отписался практически от всех SEO-специалистов в Twitter и заменил их на комедиантов. Он отметил, что какая-то часть его мозга по-прежнему интересуется поиском, но сейчас для него более актуальны другие вопросы. «Лицом поиска» теперь в какой-то мере является Дэнни Салливан. По словам Мэтта, для Google важно понимать, что им необходимо слышать внешний мир.

Прослушать интервью целиком можно на YouTube:

Напомним, что Мэтт Каттс работал в Google с 2000 года. В июле 2014 года он ушёл в бессрочный отпуск, а в июне 2016-го сообщил о своём решении временно покинуть компанию, чтобы присоединиться к команде недавно созданного подразделения Министерства обороны США – Defense Digital Service.

Предполагалось, что работа в Пентагоне будет временной. Однако она стала постоянной, и в январе 2017 года Мэтт Каттс официально объявил о своём уходе из Google.