Фреймворк Tez для Hadoop перешёл из инкубатора ASF в разряд ведущих проектов

Некоммерческая организация Apache Software Foundation (ASF), обеспечивающая поддержку многочисленным Open Source-проектам, объявила о том, что проект Tez успешно выпущен из инкубатора и переведён в разряд ведущих проектов.

Логотип Apache Tez / Иллюстрация с сайта Tez.Apache.Org

Apache Tez — это свободный фреймворк, работающий поверх Hadoop YARN и предоставляющий возможность использовать сложный направленный ациклический граф (DAG) задач для обработки данных. Tez используется в таких компаниях, как Microsoft, NASA, Netflix и Yahoo. Изначально проект разработан в компании Hortonworks, а в феврале 2013 года был включён в инкубатор проектов ASF.

ASF описывает Tez следующим образом: «Apache Tez — это встраиваемый и расширяемый фреймворк для построения высокопроизводительных движков и инструментов обработки групповых и интерактивных данных, которым нужна интеграция с Hadoop YARN „из коробки“. Tez использует не имеющие аналогов возможности Hadoop по обработке наборов данных в масштабах петабайтов, позволяя как проектам экосистемы Hadoop (Hive и Pig), так и ПО сторонних компаний выразить требуемую логику обработки данных по собственным уникальным запросам в крайне короткие сроки при высочайшей пропускной способности».

Исходный код Apache Tez размещается в Git, и доступен под лицензией Apache License v2.0. Сайт проекта: tez.apache.org.

P.S. Презентация по обработке запросов Hadoop с Tez: slideshare.net.

Автор: Никита Лялин по материалам Blogs.Apache.org.