Фреймворк для анализа данных Spark переведен в разряд ведущих проектов ASF

Некоммерческая организация Apache Software Foundation (ASF), обеспечивающая поддержку многочисленным Open Source-проектам, объявила о переводе фреймворка для анализа большого количества данных Apache Spark в разряд ведущих проектов (Top-Level Project, TLP).

Логотип Apache Spark / Иллюстрация с сайта Spark.Apache.Org

Spark позиционируется как очень быстрое и хорошо масштабируемое средство обработки и анализа больших объемов данных. Веб-ресурс The Register назвал Spark «швейцарским ножом Hadoop», а сами разработчики утверждают, что их продукт позволяет запускать приложения в десятки раз быстрее, чем в случае применения Hadoop MapReduce. Spark может работать с любыми существующими данными Hadoop и поддерживает менеджер кластеров YARN из Hadoop 2, позволяет запускать приложения на языках Java, Scala и Python.

Spark был изначально создан в 2009 году в исследовательском центре AMPLab (Калифорнийский университет в Беркли), а сегодня его используют такие компании, как Alibaba, Cloudera, Databricks, IBM, Intel и Yahoo. Последний релиз Apache Spark — версия 0.9.0 — был представлен в начале февраля. Исходный код распространяется на условиях свободной лицензии Apache License v2.0. Сайт проекта — spark.apache.org.

Автор: Дмитрий Шурупов по материалам Blogs.Apache.org.