Apache Hadoop 2: YARN, высокая доступность и масштабируемость для HDFS, поддержка Windows

16 октября некоммерческая организация Apache Software Foundation (ASF), обеспечивающая поддержку многочисленным Open Source-проектам, объявила о новом крупном релизе популярного фреймворка для организации распределенных вычислений — Apache Hadoop 2.

Архитектура Hadoop YARN (MapReduce 2.0) / Иллюстрация с сайта Hadoop.Apache.Org

Главным новшеством в Apache Hadoop 2 стало добавление YARN — полностью переделанного MapReduce. Основной идеей в создании так называемого MapReduce 2.0 (MRv2), ныне именуемого YARN, является разделение двух крупных функций JobTracker: управление ресурсами и планирование/мониторинг задач — на два демона. В результате, появился глобальный ResourceManager (RM) и отдельный для каждого приложения ApplicationMaster (AM).

Итак, ключевые новшества и изменения в релизе Apache Hadoop 2:

• Apache Hadoop YARN — «краеугольный камень Apache Hadoop следующего поколения для запуска приложений, обрабатывающих данные (MapReduce, Apache Storm и т.п.) и сервисов (Apache HBase)»;
• высокая доступность для HDFS (Hadoop Distributed File System);
• HDFS Federation для хорошей масштабируемости;
• бинарная совместимость для существующих MapReduce-приложений, созданных для Hadoop 1.x;
• снапшоты для данных в HDFS;
• доступ по NFS v3 к HDFS;
• поддержка операционной системы Microsoft Windows.

Автор: Дмитрий Шурупов по материалам Blogs.Apache.org.