Apache Hadoop 2: YARN, высокая доступность и масштабируемость для HDFS, поддержка Windows

16 октября некоммерческая организация Apache Software Foundation (ASF), обеспечивающая поддержку многочисленным Open Source-проектам, объявила о новом крупном релизе популярного фреймворка для организации распределенных вычислений — Apache Hadoop 2.

Архитектура Hadoop YARN (MapReduce 2.0)
Архитектура Hadoop YARN (MapReduce 2.0) / Иллюстрация с сайта Hadoop.Apache.Org

Главным новшеством в Apache Hadoop 2 стало добавление YARN — полностью переделанного MapReduce. Основной идеей в создании так называемого MapReduce 2.0 (MRv2), ныне именуемого YARN, является разделение двух крупных функций JobTracker: управление ресурсами и планирование/мониторинг задач — на два демона. В результате, появился глобальный ResourceManager (RM) и отдельный для каждого приложения ApplicationMaster (AM).

Итак, ключевые новшества и изменения в релизе Apache Hadoop 2:

  • Apache Hadoop YARN — «краеугольный камень Apache Hadoop следующего поколения для запуска приложений, обрабатывающих данные (MapReduce, Apache Storm и т.п.) и сервисов (Apache HBase)»;
  • высокая доступность для HDFS (Hadoop Distributed File System);
  • HDFS Federation для хорошей масштабируемости;
  • бинарная совместимость для существующих MapReduce-приложений, созданных для Hadoop 1.x;
  • снапшоты для данных в HDFS;
  • доступ по NFS v3 к HDFS;
  • поддержка операционной системы Microsoft Windows.

Автор: Дмитрий Шурупов по материалам Blogs.Apache.org.







Интересные новости
Незавершенная версия Windows 7 работает лучше Vista
Программист открыл заблокированные возможности Windows 7
Quick Slide Show 2.32: создание flash-презентаций
Покупатели гоняются за старыми компьютерами ради Windows XP
Визуализатор V-Ray 1.5 Service Pack 2 с поддержкой 3ds Max 2009
Блок рекламы


Похожие новости

Microsoft перестане обслуговувати Windows 10: що зміниться для користувачівMicrosoft перестане обслуговувати Windows 10: що зміниться для користувачів
Microsoft залишила росіян без легальних Windows 10 та Windows 11Microsoft залишила росіян без легальних Windows 10 та Windows 11
Microsoft предупредила о проблеме с удалением файлов при сбросе настроек в Windows 11 и Windows 10Microsoft предупредила о проблеме с удалением файлов при сбросе настроек в Windows 11 и Windows 10
Microsoft добавит в Windows 11 дизайн интерфейса в стиле Windows 7Microsoft добавит в Windows 11 дизайн интерфейса в стиле Windows 7
Steam отметила быстрый рост числа пользователей Windows 11 — уже до конца года их может стать больше, чем у Windows 10Steam отметила быстрый рост числа пользователей Windows 11 — уже до конца года их может стать больше, чем у Windows 10
Microsoft анонсировала изменения в программе предварительной оценки Windows 11Microsoft анонсировала изменения в программе предварительной оценки Windows 11
В приложении «Фотографии» для Windows 11 появился обновлённый редакторВ приложении «Фотографии» для Windows 11 появился обновлённый редактор
Apache выпустила уже третий патч для закрытия уязвимости в библиотеке Log4j — второй снова не справился
Windows 11 стала второй по популярности ОС среди пользователей Steam
В следующем году Microsoft ускорит работу Windows 11
Последние новости

Подгружаем последние новости