Microsoft предложила в Azure свое решение HDInsight на базе Hadoop, которое работает в Linux

Джозеф Сирош (Joseph Sirosh), корпоративный вице-президент Microsoft, объявил о выходе первого продукта этой компании для работы с большими данными, предназначенного для Linux, — Azure HDInsight.

Джозеф Сирош на конференции BigDataNYC 2014 / Иллюстрация с сайта YouTube

HDInsight — решение Microsoft на базе Hadoop, полностью совместимое с Hadoop и работающее на облачной платформе Azure. Интересно, что новый сервис, предлагаемый на Azure по обычной схеме (с платой за используемые ресурсы), стал первым, который корпорация запустила на свободной операционной системе GNU/Linux. Вообще же Linux не новичок в мире Azure, т.к. около 20 % всех виртуальных машин, запущенных в облачной платформе Microsoft, работает под управлением свободной ОС.

Как сообщается на сайте Microsoft, HDInsight создали «для обработки любого объема информации с масштабированием от терабайтов до петабайтов данных по мере необходимости». Данные могут быть неструктурированными и полуструктурированными, а также предусмотрена возможность визуализации полученных результатов в Excel. Также в HDInsight обеспечена поддержка другой Open Source-платформы — Apache Storm, — предназначенной для распределенной обработки множества событий в реальном времени.

Для создания, настройки и мониторинга заданий Hadoop в HDInsight поддерживаются программные расширения на Java и.NET. Кроме того, в ходе разработки HDInsight возможности платформы Azure ML были дополнены поддержкой расширений на языках Python и R. По словам Сироша, ни один другой программный продукт на данный момент не предоставляет возможность использовать SQL, R и Python в одном проекте.

Aлександр по материалам Gigaom.Com, Azure.Microsoft.Com.