Amazon представляет новый тип инстансов High Storage Eight Extra Large и сервис Data Pipeline

Популярности AWS, облачной платформы, которую предоставляет Amazon разработчикам для построения своих сервисов, удивляться не приходиться. Платформа на рынке давно, её возможности и подводные камни хорошо изучены, приложений на её базе построено множество, а к тому же и сам Amazon нередко подкидывает поводы для радости снижая цены или предоставляя новые возможности. Еще одним поводом для радости является запуск сервиса Data Pipeline.

Представленный недавно сервис Data Pipeline определенно порадует разработчиков, особенно тех, приложения которых будут работают с обработкой и хранением значительных объемов данных.

Основная задача, которую можно решать с помощью нового сервиса – это обеспечение миграции данных между сервисом хранения информации AWS S3 и различными базами данных.

• S3
• MySQL RDS/Внешние MySQL серверы
• DynamoDB

AWS Data Pipeline позволяет копировать, переносить данные из таблиц SQL и DynamoDB в S3 и наоборот.  По умолчанию Data Pipeline предоставляет несколько шаблонов:

• Экспорт из DynamoDB в S3
• Экспорт из S3 в DynamoDB
• Копирование из S3 в RDS
• Копирование из RDS в S3
• Анализ файлов в S3
• Миграция из не RDS MySQL в S3

У пользователей сервиса есть возможность настраивать собственные шаблоны.

В дополнение к Data Pipeline компания запускает также и новый тип экземпляра EC2  - High Storage Eight Extra Large (hs1.8xlarge),специально для приложений, которым требуется как значительный объем дискового пространства, так и высокая производительность подсистемы ввода-вывода.

Согласно сообщению в официальном блоге AWS, основные технические характеристики нового инстанса включают в себя:

• 120ГБ оперативной памяти;
• 16 виртуальных ядер (вычислительная мощность которых эквивалентна 35 ECU);
• 48TБ постоянной памяти, распределенной по 24 жестким дискам, пиковая пропускная способность которых составляет 2,4 Гб/с.

Рассчет Amazon базируется на том, то единожды воспользовавшись его услугами, клиентам впоследствии будет весьма затруднительно от них отказаться. Действительно, используя инстансы такого класса и работая (очевидно) с важными данными имеет смысл внедрить и полноценную облачную систему хранения информации, работающую на распределенной файловой системе (HDFS и GlusterFS).

Таким образом для клиента создается вся необходимая инфраструктура в облаке, причем стоимость её эксплуатации будет составлять малую долю того, чего стоило бы поднятие аналогичной системы на своей аппаратной базе и ПО.