Facebook открыла исходный код алгоритма сжатия Zstandard и подсистемы хранения для MySQL MyRocks

Вчера интернет-компания Facebook на конференции @Scale представила миру Open Source новый алгоритм сжатия — Zstandard, а также движок хранения данных в MySQL — MyRocks.

Zstandard (Zstd) — технология сжатия без потерь данных, которая призвана сменить существующие библиотеки вроде zlib, где используется устаревшая компрессия с Deflate. Внутри Facebook сжатие с Zstandard тестировалось на протяжении полугода, и авторы отмечают «впечатляющие результаты» этого испытательного периода: при одинаковом с библиотекой zlib уровнем сжатия скорость работы Zstandard оказывалась в пять раз быстрее, а в экспериментах с сохранением постоянного времени компрессии файлы оказывались на 10 % меньше.

Сравнение компрессии и декомпрессии данных с zlib и Zstd
Сравнение компрессии и декомпрессии данных с zlib и Zstd / Иллюстрация с сайта GitHub

MyRocks — подсистема хранения данных (storage engine) для свободной СУБД MySQL, которая используется в Facebook «для улучшения эффективности хранения данных в БД MySQL». По сравнению со сжатыми данными в рамках стандартного движка MySQL — InnoDB — разработке Facebook удаётся экономить до половины занимаемого пространства.

Исходный код Zstd опубликован под свободной лицензией BSD и вместе с документацией и некоторыми сравнительными характеристиками доступен на GitHub. Движок данных MySQL MyRocks распространяется в рамках ветки СУБД MySQL v5.6 от Facebook, код которой также выложен на GitHub.

Дмитрий Шурупов по материалам techcrunch.com.



Коды для вставки в блог\форум




Интересные новости
Google Chrome подключил новый инструментGoogle Chrome подключил новый инструмент
Соучредитель Adobe Чарльз Гешке почил в возрасте 81 годаСоучредитель Adobe Чарльз Гешке почил в возрасте 81 года
Google выпустила Chrome 90, в нём протокол HTTPS используется по умолчаниюGoogle выпустила Chrome 90, в нём протокол HTTPS используется по умолчанию
Microsoft значительно улучшила браузер Edge для Android-устройствMicrosoft значительно улучшила браузер Edge для Android-устройств
Накопительное обновление KB5001330 для Windows 10 вызвало целый ворох критических проблемНакопительное обновление KB5001330 для Windows 10 вызвало целый ворох критических проблем
Блок рекламы


Похожие новости

Mozilla сокращает штат для сохранения финансирования инновацийMozilla сокращает штат для сохранения финансирования инноваций
Facebook разработает собственную ОСFacebook разработает собственную ОС
Facebook работает над собственной операционной системойFacebook работает над собственной операционной системой
Apple открыла доступ к своей программе Bug Bounty для всех исследователейApple открыла доступ к своей программе Bug Bounty для всех исследователей
Вышла новая версия Adblock Plus для блокировки рекламы в FacebookВышла новая версия Adblock Plus для блокировки рекламы в Facebook
Уязвимость в Chrome и Firefox в течение года позволяла получать данные о Facebook-профиляхУязвимость в Chrome и Firefox в течение года позволяла получать данные о Facebook-профилях
Oracle открыла код двух проектов для Kubernetes на базе Fn project и Cluster FederationOracle открыла код двух проектов для Kubernetes на базе Fn project и Cluster Federation
Uber открыла код вероятностного языка программирования на Python — PyroUber открыла код вероятностного языка программирования на Python — Pyro
TiDB 1.0 — крупный релиз распределённой Open Source-СУБД с протоколом, совместимым с MySQLTiDB 1.0 — крупный релиз распределённой Open Source-СУБД с протоколом, совместимым с MySQL
Открыт исходный код Qt 3D Studio для создания трёхмерных пользовательских интерфейсовОткрыт исходный код Qt 3D Studio для создания трёхмерных пользовательских интерфейсов
Последние новости

Подгружаем последние новости