В LinkedIn рассказали о своих Open Source-инициативах

Представители профессиональной социальной сети LinkedIn рассказали об используемом в компании свободном программном обеспечении и своём вкладе в мир СПО.

Алекс Воути (Alex Vauthey), вице-президент по технологиям в компании LinkedIn в своём интервью сообщил, что они активно используют существующие свободные решения (например, Hadoop), а также предоставили сообществу порядка 20-25 собственных проектов.

Кластер на базе Apache Kafka, созданной в LinkedIn / Иллюстрация с сайта Thenextweb.Com

Один из наиболее известных среди последних — это Kafka, распределённый механизм публикации и подписки, написанный на Scala и открытый в 2011-м году. Сейчас Kafka является проектом ASF (Apache Software Foundation) с наивысшим приоритетом, используется во многих известных компаниях (Twitter, Netflix, Spotify, Pinterest, Tumblr, Airbnb и прочие). В LinkedIn эту распределённую и масштабируемую событийную систему, реагирующую на появлении записей в журнале, используют для помещения данных из хранилища в инфраструктуру аналитики. Для примера на базе этого механизма строятся рекомендательные функции «Люди, которых Вы можете знать» или «Те, кто просмотрел Ваш профиль».

Второй проект, который сейчас активно набирает популярность, — это Helix, фреймворк кластеризации. Он используется при построении распределённых систем и старается балансировать нагрузку на как можно большее число узлов в кластере. Цель масштабируемости заключается в том, чтобы сохранять нагрузку при линейном добавлении узлов. Таким образом, Helix пытается самостоятельно решить проблему, которая появляется в случае отключения одного из узлов кластера и необходимости перераспределения нагрузки.

Также в сфере ИТ известен проект под названием Voldemort, представляющий собой распределённую систему хранения вида ключ-значение. Она хорошо приспособлена для линейного масштабирования и выдерживает большие нагрузки.

Автор: Никита Лялин по материалам Thenextweb.Com.