Open Source-проект Apache Spark поставил новый мировой рекорд в сортировке 100 терабайт данных

По итогам тестирования по бенчмарку Sort Benchmark, Open Source-проекту Apache Spark удалось поставить новый мировой рекорд в сортировке 100 терабайт данных (1 триллион 100-байтовых записей).

Логотип Apache Spark
Логотип Apache Spark / Иллюстрация с сайта Spark.Apache.Org

Тестирование проводилось компанией Databricks еще в октябре 2014 года. Программное обеспечение на базе Apache Spark запускали на 207 виртуальных машинах, находящихся в облаке EC2, — в результате теста удалось отсортировать 100 терабайт данных за 23 минуты. Предыдущий мировой рекорд, созданный с помощью другой популярной Open Source-платформы — Hadoop MapReduce, — проводился на 2100 машинах в частном дата-центре и привёл к результату в 72 минуты. Для тестирования использовался бенчмарк имени Джима Грея (Sort Benchmark), в применении которого соревнуются организации со всего мира.

После проведения основного теста энтузиасты решили провести ещё один Big Data-тест и воспользовались Apache Spark для сортировки 1 петабайта данных (10 триллионов записей): на 190 машинах это удалось сделать за 4 часа. Этот показатель также превосходит прошлый рекорд, установленный Hadoop MapReduce: 16 часов на 3800 хостах. Сообщается, что это первый случай использования свободного ПО в комбинации с публичной облачной инфраструктурой (Amazon EC2) для достижения подобного рекорда в сортировке, и вообще первая в мире попытка сортировки 1 Пб данных в публичном облаке.

Дмитрий Шурупов по материалам opensource.com.







Интересные новости
Незавершенная версия Windows 7 работает лучше Vista
Программист открыл заблокированные возможности Windows 7
Quick Slide Show 2.32: создание flash-презентаций
Покупатели гоняются за старыми компьютерами ради Windows XP
Визуализатор V-Ray 1.5 Service Pack 2 с поддержкой 3ds Max 2009
Блок рекламы


Похожие новости

OpenAI представила нову модель штучного інтелекту GPT-4oOpenAI представила нову модель штучного інтелекту GPT-4o
Сем Альтман повернеться на посаду СЕО OpenAIСем Альтман повернеться на посаду СЕО OpenAI
Скандал в OpenAI: 90% працівників пригрозили перейти в MicrosoftСкандал в OpenAI: 90% працівників пригрозили перейти в Microsoft
Microsoft найняла колишнього главу OpenAIMicrosoft найняла колишнього главу OpenAI
Засновники OpenAI закликали до регулювання, щоб ШІ не захопив людствоЗасновники OpenAI закликали до регулювання, щоб ШІ не захопив людство
Гендиректор OpenAI «побоюється» ChatGPT і впевнений, що через даний ШІ зникне низка професійГендиректор OpenAI «побоюється» ChatGPT і впевнений, що через даний ШІ зникне низка професій
Більш креативна та рідше вигадує факти: OpenAI запустила нову модель модель GPT-4Більш креативна та рідше вигадує факти: OpenAI запустила нову модель модель GPT-4
Microsoft хоче інвестувати $10 мільярдів у компанію OpenAI, яка розвиває штучний інтелектMicrosoft хоче інвестувати $10 мільярдів у компанію OpenAI, яка розвиває штучний інтелект
Apple заплатила рекордные $100 тыс. студенту, который нашёл способ взломать Mac через браузерApple заплатила рекордные $100 тыс. студенту, который нашёл способ взломать Mac через браузер
Уязвимость браузера Safari может привести к утечке данных и раскрытию личности пользователяУязвимость браузера Safari может привести к утечке данных и раскрытию личности пользователя
Последние новости

Подгружаем последние новости