Twitter-предсказатель: учёные используют Twitter-записи для исследований

Данные, получаемые их социальных сетей и блого-сервисов являются готовой платформой для исследования, а пользователи этих сервисов с их статусами, фотографиями и записями поневоле становятся участниками испытаний.

Учёные в последнее время стали активнее использовать методики больших данных для проведения различного рода исследований. Некоторые из этих исследований довольно интересны и даже беспрецедентны, некоторые – бессмысленны и проводились без особенной практической цели. Тем не менее, все работы такого рода доказывают, что социальные сети, являясь своеобразной и довольно репрезентативной выборкой, могут служить объектом социологических и других исследований.

Twitter и болезни

В начале 2013 года учёные из университета Джонса Хопкинса (известного своим знаменитым киношным выпускником – доктором Грегори Хаузом, героем известного сериала) попытались спрогнозировать с помощью Twitter распространение гриппа. Для этого авторы исследования анализировали записи и находили в них жалобы на состояние больных.

Такого рода исследования используют технологии лингвистического анализа, которые позволяют не только отобрать записи с заданным словом или набором слов, но и классифицировать их по определённой методике. Например, о гриппе можно просто написать, упомянуть о собственных симптомах, болезни членов семьи или коллег по работе или похвастаться, что болезнь прошла.

На основе такого рода анализа учёные пытались спрогнозировать, каким образом эпидемия будет распространяться на территории США. Интересно, что полученные ими данные полностью соответствовали официальны данным Центра контроля заболеваний.

Отметим, что компания Google в 2012 году запустила подобный сервис Google Flu Trends, позволяющий отслеживать и анализировать активность эпидемии гриппа и прогнозировать её распространение. Google в своём сервисе базировалась на статистике поисковых запросов. Однако в начале 2013 года было обнаружено, что прогнозы Google Flu Trends ошибочны – в частности, они в два раза превысили данные американского Центра контроля заболеваний.

Известно, что в 2011 году бразильские ученые создали систему мониторинга заболеваний лихорадкой Денге. Эта система создана на основе аналогичного продукта Google – сервиса Google Dengue Trends и работает она по похожему принципу.

Twitter и финансовые прогнозы

Учёные сразу из нескольких университетов создали систему прогнозирования стоимости акций на основе данных из Twitter. Результат работы специалистов из Мюнхенского Технического Университета отображён на сайте TweetTrader.net. Их система анализирует сообщения из Twitter и составляет прогнозы по колебаниям курсов акций для 500 крупнейших американских компаний.

Для своего исследования его авторы использовали гипотезу, что акции колеблются в полном соответствии с глобальными настроениями пользователей Twitter относительно той или иной компании, причём настроения в сервисе микроблогов опережают биржевые колебания на один день, что позволяет делать довольно точные прогнозы.

В оценке колебаний авторы исследования учитывали и «вес» разных пользователей, то есть их авторитетность (количество последователей и число ретвитов).

Похожим способом работает сервис StockTwits — он собирает прогнозы пользователей сервиса микроблогов и предоставляет оценки на основе полученных данных.

Анализировались содержимое Twitter-блогов для прогнозов результатов голосования популярных телешоу, в частности, в American Idol: чем больше говорят об участнике, тем большая вероятность того, что он победит.

Летом 2012 года на основе данных сервиса микроблогов был создан индекс популярности Twindex кандидатов в президенты США, который, кстати, угадал результаты выборов.

Twitter как универсальный объект исследования

Сервис микроблогов можно считать универсальным объектом исследования настроений и интересов его пользователей. Вряд ли можно интерполировать эти результаты на всех жителей планеты, ведь не у всех есть доступ в Интернет и не все зарегистрированы в Twitter, однако с определенной натяжкой тенденции, полученные учёными, можно принимать во внимание.

Например, в начале 2013 года эксперты из исследовательского центра Pew Research Center обнаружили, что в целом настроение пользователей Twitter ухудшается с каждым годом.

Интересно, что похожие предположения были высказаны еще в 2011 году, тоже на основе анализа содержимого Twitter-аккаунтов. Исследование проводили сотрудники Вермонтского университета (США), которые проанализировали около 4 млрд. записей за три года.

Для определения настроения учёные присвоили словам разные баллы, соответствующие уровню счастья, после чего подсчитали суммарный «показатель счастья». Оказалось, что этот показатель снижался на протяжении всего исследования. Интересно, что самое заметное снижение уровня счастья в Twitter было зафиксировано в день смерти Майкла Джексона.

Это же исследование показало, что наиболее счастливым днем недели является суббота, а самым несчастливым — вторник.

Ещё одно исследование уровня счастья с использованием содержимого Twitter попыталось определить, в каких ситуациях пользователи испытывают наиболее положительные эмоции. Оказалось, что наиболее счастливыми люди себя чувствуют, находясь как можно дальше от своего дома. Это можно объяснить тем, что люди в отпуске и в путешествиях обычно получают больше положительных эмоций, чем во время ежедневной рутины.

Корректность методики

Несмотря на то, что исследований с помощью Twitter существует множество и появляются каждый раз всё новые, возникает вопрос о корректности их проведения. В частности, не всегда пользователи публикуют в онлайне то или иное своё состояние или определенные мысли, что означает, что опубликованное онлайн – это только часть эмоций, мыслей, взглядов человека. Кроме того, лингвистический анализ иногда ещё ошибается и погрешность его работы бывает довольно велика.

В то же время очевидным становится факт, что различного рода социологические исследования упростились с помощью социальных сервисов. В будущем социальные сети и блогосервисы расскажут нам ещё очень многое о человечестве.