Сервис Mesosphere призван упростить обработку больших данных в облаке

Чем крупнее массивы данных, которыми оперируют компании, и чем большие вычислительные ресурсы они для этого задействуют, тем сложнее становится управляться с ними. Создатели стартапа Mesosphere предлагают переложить управление инфраструктурой на их программное обеспечение, и обещают, что экономия вскоре станет заметной.

Суть проблемы сводится к тому, что чем больше компания арендует виртуальных серверов, тем сложнее становится отследить какие программы на каких работают, и оптимально ли распределена нагрузка. Конечно, существуют разнообразные способы выйти из положения, однако крупные компании чаще всего разрабатывают их для себя, и простыми в использовании их не назовёшь. Но «большими данными» теперь хотят оперировать и фирмы поменьше, которые нуждаются в более удобном решении.

Основатели Mesosphere знают об описанных сложностях не понаслышке. Раньше они работали в Airbnb — известном сервисе, помогающем частникам сдавать недвижимость в аренду. Airbnb оперирует немалым массивом данных, а от его алгоритмов требуется оперативно выдавать рекомендации.

Основой для сервиса Mesosphere станет программная платформа с открытыми исходниками Apache Mesos. Mesos предназначен для распределение вычислительных задач в дата-центре и распределяет нагрузку таким образом, чтобы ресурсы использовались максимально эффективно.

Mesosphere на данный момент не предоставляет собственных серверов, и является надстройкой над популярным сервисом Amazon Elastic Cloud — по адресу elastic.mesosphere.io можно найти интерфейс, позволяющий подключить и начать эксплуатировать Elastic Apache Mesos. Сервис при этом бесплатен: пользователи Elastic Mesos платят лишь за аренду серверов Amazon, причём столько же, сколько платили бы Amazon напрямую.

Некоторые сервисы Mesosphere предоставляет по умолчанию — в частности Apache ZooKeeper для установки зависимостей. Предполагается, что пользователи Mesosphere будут работать с фреймворками Apache Hadoop и Apache Spark.

Одновременно с Mesos инженеры Mesosphere рекомендуют использовать и родственные ему инструменты. Одна из них называется Chronos и предназначена для исполнения затратных с точки зрения ресурсов задач по расписанию. Другая называется Marathon и служит для бесперебойного исполнения важных задач и может справиться с ситуациями, когда оборудование выходит из строя.

Зарабатывать деньги Mesosphere будет не напрямую, а через связанные услуги: курсы и лекции для персонала, обеспечение технической поддержки и работы, связанные с интеграцией и консалтингом.