Сортировка петабайта данных заняла у Google шесть часов две минуты

Компания Google в рамках своей файловой системы рассортировала петабайт данных между четырьмя тысячами компьютеров за шесть часов две минуты. Один петабайт эквивалентен десяти триллионам 100-байтовых текстовых файлов. Об этом сообщается в официальном блоге Google.
Один из датацентров Google. Фото с сайта robinmajumdar.com
Один из датацентров Google. Фото с сайта robinmajumdar.com

Для размещения петабайта данных Google потребовалось 48 тысяч жестких дисков, но они не заполнялись полностью. Кроме того, создавалось по три копии каждого файла на разных дисках, так как есть опасность выхода их строя одного из трех винчестеров.

Сортировка меньшего объема информации - терабайта данных - между тысячей компьютеров заняла у файловой системы Google 68 секунд. Такой же объем информации был рассортирован между 910 компьютерами за 209 секунд.

Основой файловой системы Google является компонент MapReduce. Он позволяет запускать несколько процессор одновременно. В январе текущего года MapReduce обрабатывал в среднем по 20 петабайт данных ежедневно.





Интересные новости
Дети обмениваются порно-фото и выкладывают их в Сеть, а взрослые не понимают Интернет-слэнг
Марк Цукерберг раскритиковал "Социальную сеть"
Американских игроков начали сажать
1го апреля один из сайтов дошутился: на него подают в суд
Масоны онлайн
Блок рекламы


Похожие новости

Чатбот зі штучним інтелектом від Google вже доступний в Україні: що він можеЧатбот зі штучним інтелектом від Google вже доступний в Україні: що він може
Axios: Як Google намагається протистояти у сфері ШІ компаніям Microsoft та OpenAIAxios: Як Google намагається протистояти у сфері ШІ компаніям Microsoft та OpenAI
Google помилково відіслала деяким користувачам Google Pay від $10 до $1000Google помилково відіслала деяким користувачам Google Pay від $10 до $1000
Google порахував, скільки мільярдів доходу отримали українські стартапи у 2022 роціGoogle порахував, скільки мільярдів доходу отримали українські стартапи у 2022 році
«Податок на Google»: Держбюджет вже отримав 6,3 мільярда«Податок на Google»: Держбюджет вже отримав 6,3 мільярда
Google запускає чат-бот Bard для конкуренції з ChatGPTGoogle запускає чат-бот Bard для конкуренції з ChatGPT
Фонд держмайна починає співпрацю з Google: що це значитьФонд держмайна починає співпрацю з Google: що це значить
У 2022 році російські хакери атакували Україну на 250% частіше – GoogleУ 2022 році російські хакери атакували Україну на 250% частіше – Google
Google запускає конкурента ChatGPT для перших тестувальниківGoogle запускає конкурента ChatGPT для перших тестувальників
Google представив новий інструмент: можна видалити інформацію про себе із ІнтернетуGoogle представив новий інструмент: можна видалити інформацію про себе із Інтернету
Последние новости

Подгружаем последние новости