Google анонсировала Cloud Dataflow SDK в качестве Open Source-проекта

Компания Google открыла исходный код Cloud Dataflow SDK для Java — инструмента, который упрощает разработчикам написание и интеграцию приложений с сервисом для обработки больших массивов данных.

Компания Google выпустила свободный Cloud Dataflow SDK для Java / Иллюстрация с сайта Blog.Logentries.Com

18 декабря Google предоставила сообществу разработчиков SDK под свободной лицензией для работы с Cloud Dataflow. Идея проекта — помочь разработчикам в переносе SDK на другие языки программирования и в другие окружения. «Повторное использование шаблонов программирования — ключевой фактор эффективности разработчика. Cloud Dataflow SDK предоставляет единую модель групповой и потоковой обработки данных, которую разработчики могут использовать новыми способами», — пишет в блоге Сэм МакВити (Sam McVeety), программный инженер в Google.

В компании описывают Cloud Dataflow как технологию, которая строится на MapReduce и более современных Flume и MillWheel, каждая из которых используется внутри компании для анализа огромных хранилищ данных. В Google надеются, что благодаря Cloud Dataflow разработчики и компании получат аналогичные крупным компаниям возможности. В Amazon строят сервис с аналогичной функциональностью, он получил имя Kinesis. Исходный код SDK опубликован на GitHub на условиях второй редакции лицензии Apache.

Никита Лялин по материалам eweek.com.