Concurrent открыла код Cascading — альтернативы MapReduce для Hadoop

Компания Concurrent, Inc объявила о выпуске Open Source-фреймворка Cascading 2.0 для работы с данными в Hadoop, позиционируемого как альтернатива популярному решению MapReduce.

Cascading предоставляет API для работы с большими данными на платформе Apache Hadoop. Именно этот продукт уже используют такие известные интернет-сервисы, как Twitter и Amazon. Первая версия Cascading была разработана Крисом Вензелем (Chris Wensel), который впоследствии основал и возглавил компанию Concurrent для коммерциализации продукта*: «Когда я писал приложения для Hadoop, этот процесс был невероятно трудным. Поэтому я начал создавать фреймворк, который предложил бы мне другую модель [разработки Hadoop-приложений]. MapReduce — это простой способ распараллеливания операций над данными, но с ним сложно решать реальные задачи».

Архитектура для Cascading / Иллюстрация с сайта Cascading.Org

Писать Hadoop-приложения с Cascading можно на языках Java, Scala, Clojure, Jython и Jruby. Исходный код Cascading распространяется на условиях лицензии Apache License 2.0 и доступен для скачивания на сайте проекта. Там же можно найти документацию и другую информацию о проекте.

* В прошлом году компания Concurrent смогла собрать 900 тысяч USD в рамках венчурного финансирования от True Ventures and Rembrandt.

Автор: Дмитрий Шурупов по материалам zdnet.com.