Google открыла код фреймворка для обработки больших данных — MapReduce for C (MR4C)

В минувшую среду было объявлено об открытии кода Google MR4C (MapReduce for C) — фреймворка, позволяющего заданиям Hadoop использовать библиотеки, написанные на C/C++.

MR4C изначально был разработан в рамках проекта Skybox Imaging для обработки больших объемов геодезических данных и спутниковых снимков на кластерах под управлением Hadoop. Необходимость разработки была связана с желанием программистов использовать стандартные библиотеки для работы с изображениями, написанные на C и C++.

Схема работы кода на C/C++ в рамках MR4C
Схема работы кода на C/C++ в рамках MR4C / Иллюстрация с сайта Gigaom.Com

Hadoop, как известно, написан на Java, а выбор C++ для разработки Google MapReduce и QFS (Quantcast File System — аналог Hadoop Distributed File System, разработанный в Google) был продиктован именно соображениями производительности. По той же причине БД MemSQL для выполнения SQL-запросов осуществляет генерацию кода в C++.

Исходный код фреймворка MR4C распространяется на условиях свободной лицензии Apache License v2 и доступен на GitHub.

Aлександр по материалам Gigaom.Com, Google-opensource.Blogspot.Ru.







Интересные новости
Незавершенная версия Windows 7 работает лучше Vista
Программист открыл заблокированные возможности Windows 7
Quick Slide Show 2.32: создание flash-презентаций
Покупатели гоняются за старыми компьютерами ради Windows XP
Визуализатор V-Ray 1.5 Service Pack 2 с поддержкой 3ds Max 2009
Блок рекламы


Похожие новости

Google випустив оновлення Chrome з режимом економії заряду батареїGoogle випустив оновлення Chrome з режимом економії заряду батареї
Google попередив користувачів про небезпеку: їм потрібно терміново оновити браузерGoogle попередив користувачів про небезпеку: їм потрібно терміново оновити браузер
Программистов из РоSSии и Беларуси отстранили от участия в конкурсе GoogleПрограммистов из РоSSии и Беларуси отстранили от участия в конкурсе Google
Иконка Google Chrome получит первый редизайн за 8 лет и вариации для разных ОСИконка Google Chrome получит первый редизайн за 8 лет и вариации для разных ОС
Уязвимость браузера Safari может привести к утечке данных и раскрытию личности пользователяУязвимость браузера Safari может привести к утечке данных и раскрытию личности пользователя
Недавнее обновление нарушает работоспособность браузера Google Chrome для iOSНедавнее обновление нарушает работоспособность браузера Google Chrome для iOS
HPE случайно удалила 77 Тбайт данных с суперкомпьютера университета Киото
Google назвала Chrome OS самой быстрорастущей операционной системой в мире
Google похоронила панель Google Toolbar для Internet Explorer спустя 21 год после запуска
Скрытые функции браузера Google Chrome, о которых не знают многие пользователи
Последние новости

Подгружаем последние новости