Facebook открыл для разработчиков свой алгоритм сжатия Zstandard

Социальная сеть Facebook выложила в открытый доступ библиотеку и инструментарий для работы с новым алгоритмом сжатия данных Zstandard. Скорость сжатия и распаковки данных у Zstandard заметно превосходит возможности, которыми обладают уже существующие решения. Также разработчики Facebook выложили в открытый доступ табличный движок для MySQL — MyRocks.

Особенностью Zstandard становится возможность оптимизации алгоритма для работы с данными одного типа. Это позволяет добиваться заметного повышения эффективности сжатия мелких наборов данных. На основе предварительно предоставленных примеров данных можно сформировать словарь, который будет загружаться непосредственно перед сжатием и распаковкой файлов и предоставит возможность заметно повысить степень сжатия типовых данных.

«Создание open source решений способно заметным образом улучшить жизнь всего сообщества. Такие разработки трансформируются под индивидуальные нужды гораздо быстрее, чем проприетарный софт», — комментирует решение вице-президент Facebook по созданию инженерной инфраструктуры Джей Парих (Jay Parikh).