Новый Open Source-проект Myriad объединяет Apache YARN и Apache Mesos

Mesosphere (создатели ОС Mesosphere Datacenter Operating System) совместно с MapR Technologies Inc. (разработчиками проприетарной версии Apache Hadoop с повышенной производительностью) представили Myriad — платформу с открытым кодом, позволяющую планировщику заданий YARN работать на вычислительных кластерах под управлением Apache Mesos.

Схема взаимодействия YARN и Mesos в рамках Myriad / Иллюстрация с сайта Mymeedia.Com

На практике это означает, что с появлением Myriad отпала необходимость физически разделять вычислительные ресурсы для пакета Hadoop и для приложений (например, веб-серверов), работающих на кластерах под управлением Mesos. До настоящего времени разработчики Hadoop исторически были вынуждены ориентировать свой продукт на выполнение задач по обработке большого объема данных на специально выделенных для этой цели кластерах. Это зачастую приводило к неэффективному использованию аппаратных ресурсов в дата-центрах. Теперь на одном и том же оборудовании можно запускать как ресурсоемкие распределенные вычисления на базе Hadoop, так и любые приложения, ориентированные на Mesos.

На данный момент Myriad тестируется в дата-центрах, принадлежащих eBay и Twitter (кроме того, первая компания внесла большой вклад в разработку первой версии кода Myriad). По словам представителя Mesosphere Адама Борделона (Adam Bordelon), проект все еще находится в состоянии разработки, и до момента начала полноценного использования его отделяет еще месяц-два. За это время в него планируется внести существенные дополнения, в первую очередь касающиеся безопасности.

Исходный код Myriad доступен на GitHub на условиях свободной лицензии Apache License 2.0.

Aлександр по материалам sdtimes.com, Gigaom.Com.