Splunk адаптирует решения big data для использования неспециалистами
Компания Splunk свою цель донести решения из области Big Data до неспециалистов с помощью Hunk – интегрированной аналитической платформы для Hadoop. В Splunk считают, что Hunk сделает бизнес-аналитику доступнее и одновременно упростит жизнь разработчикам. Сейчас Hunk распространяется по модели Trial: желающие могут скачать программный пакет для Hadoop и пользоваться им бесплатно в течение 60 дней.
В прошлом году фирма запустила сервис Splunk Hadoop Connect, который упрощает перенос данных между аналитической платформой Splunk Enterprise и фреймворком для организации параллельных вычислений Hadoop.
Директор Splunk по маркетингу Мэтт Дэвис (Matt Davies) пояснил, что при миграции Hadoop Connect проводит первичный анализ данных и отображает те из них, объём которых может оказаться слишком велик:
Есть ряд проблем с реализаций идеи работы решений Splunk поверх Hadoop. Он очень хорош для хранения больших объемов данных, но неудобен для их обработки. Сейчас трудно найти квалифицированных людей, которые бы действительно хорошо знали Hadoop. Это не та технология, которую можно просто взять и сразу использовать.
Дэвис поясняет, что Hunk направлен на тот же практический эффект, что и Splunk Enterprise 6, представленный в октябре. Его задача – сделать бизнес-аналитику доступнее для тех, кто не владеет методами обработки больших объёмов на уровне экспертов:
Splunk Enterprise 6 делает процесс анализа проще. Вы открываете браузер и сами создаёте свои простые аналитические инструменты. Таким же образом можно работать и в Hunk. Если у вас петабайты данных на кластерах Hadoop, вы можете использовать Hunk как сервис более высокого уровня. С ним сразу можно начать процесс поиска или визуализации конкретных данных.
В Splunk также долго трудились над фреймворком, чтобы облегчить жизнь сторонних разработчиков:
У нас есть не только ряд программных интерфейсов для Hunk, но и специализированные средства разработки программного обеспечения. Вы можете использовать привычный язык программирования, чтобы описать работу с данными в Hadoop через Hunk.
Проект Hunk находился в стадии бета-версий около полугода. За это время была написана подробная документация и созданы средства разработки для C#, Java, JavaScript, Python, PHP и Ruby.
Дэвис утверждает, что ведущие представители электронной коммерции уже использовали Hunk для того, чтобы сделать ретроспективный анализ покупок и соотнести его результаты с текущими наблюдениями за динамикой продаж:
Они загрузили данные из блогов, где обсуждались покупки, логи самих сайтов онлайн-магазинов и прокси-серверов. Добавили все изображения, которые смотрели покупатели и сформировали огромную базу данных. На основе её анализа удалось составить представление о том, как должно выглядеть клиентское приложение для электронной коммерции.
По данным Splunk, сегодня Hunk работает с большинством дистрибутивов связующих программ для Apache Hadoop, включая Cloudera, Hortonworks, IBM, MapR и Pivotal. Цены на Hunk начинаются с отметки в 2500 долларов за годовую лицензию на каждый узел Hadoop.
