Базу данных GDELT интегрировали в Google BigQuery

Крупнейшая база данных о глобальных событиях c 1979 года GDELT Event Database (Global Database of Events, Language, and Tone) интегрирована в инструмент потоковой передачи данных Google BigQuery, который является частью Google Cloud Platform и доступен клиентам Google Analytics Premium.

В настоящее время база данных GDELT содержит более четверти миллиарда данных событиях, происходящих в мире с 1979 год по настоящее время. Все эти события имеют географическую привязку. Создателем крупнейшей базы данных является Калев Литару (Kalev H. Leetar), выпускник Университета Иллинойса. В настоящее время является научным сотрудником Edmund A. Walsh School of Foreign Service при Джорджтаунском университете.

Данные GDELT заимствуются из различных международных источниках новостей и обновляются каждый день. После интеграции в Google BigQuery база данных GDELT будет обновляться ежедневно в 5 утра по Восточному времени. Спустя пару недель, когда GDELT полностью интегрируется в Google BigQuery апдейты будут происходить каждые 15 минут.

Google BigQuery – это инструмент, при помощи которого Google Analytics Premium решает проблемы обработки данных. Для осуществления запроса данных через веб-интерфейс или программным путем используется SQL-подобный интерфейс. BigQuery, в частности, позволяет осуществлять потоковую передачу данных в режиме реального времени.

Об интеграции функционала BigQuery c Google Analytics Premium было объявлено еще на конференции Google I/O в мае 2013 года.

«Коммерческим предприятиям необходимо постоянно анализировать огромные объемы данных, которые они получают от сетевых приложений. Нередко с этой целью используют системы, которые просто не способны обрабатывать огромные объёмы постоянно меняющейся информации. Мы разработали BigQuery, чтобы помочь коммерческим предприятиям справиться с этой проблемой и избежать необходимости инвестирования в сложное и дорогостоящее оборудование», - характеризуют инструмент представители Google.

«Благодаря интеграции GDELT в Google BigQuery, клиенты Google Analytics Premium смогут обрабатывать свыше 250 миллионов запросов о различных событиях, происходивших на протяжении последних 30 лет. Процесс обработки данных занимает не более 6 секунд. В первый месяц использования BigQuery инструмент является бесплатным», - сообщается в блоге Google Cloud Platform.