eBay присоединился к Open Source-сообществу с быстрым OLAP-движком Kylin для Hadoop

Компания eBay до сих пор не вносила крупного вклада в свободное программное обеспечение, однако всё может измениться с открытием исходного кода движка аналитической онлайн-обработки данных (OLAP) — Kylin.

Диаграмма архитектуры Kylin / Иллюстрация с сайта Kylin.Io

Разработка платформы началась после того, как в eBay не нашли готового решения для эффективной обработки быстрорастущих и разнообразных данных, генерируемых клиентами, — ситуация схожа со многими другими контрибьюторами в Hadoop. eBay назвал своё приложение «Kylin»: когда возможно, оно оптимизирует хранение информации за счёт существующих технологий (применяя компоненты из основной ветки экосистемы).

По умолчанию данные хранятся в Apache Hive, который выступает прослойкой для SQL-интерфейса, созданного поверх Hadoop. Когда Kylin сталкивается с повторами в строках и столбцах внутри подпроекта (например, один товар с разными ценами), он перекладывает данные в пару ключ-значение и заносит их в Apache Hive, который является компонентом, изначально задумывавшимся для нагрузок такого типа. Hive предоставляет случайный доступ к информации, чтобы избежать последовательного сканирования десятков и сотен миллиардов строк, когда работники ищут определённую бизнес-деталь.

Эта технология значительно сокращает затраты времени: eBay утверждает, что она позволяет обрабатывать определённые запросы быстрее секунды, и это делает аналитику по-настоящему интерактивной. Помимо высокой производительности, Kylin предоставляет дополнительные возможности вроде интеграции с популярными системами бизнес-аналитики (например, Tableau), популярными платформами виртуализации данных, сжатия и мониторинга.

Kylin может показаться не таким инновационным, как другие недавние проекты, связанные с Hadoop. Однако он закрывает серьёзную «боль» предприятий, что в итоге позволит увеличить количество внедрений экосистемы на предприятиях в целом. Сайт проекта — www.kylin.io.

Никита Лялин по материалам Siliconangle.Com.