Meta представила суперкомпьютер на 6080 ускорителях NVIDIA A100 — он научит ИИ думать как человек

Компания Meta объявила о создании AI Research SuperCluster (RSC) — нового суперкомпьютера, предназначенного для работы с задачами искусственного интеллекта. По утверждению компании, он скоро станет самым быстрым в мире. Суперкомпьютер стал результатом почти двух лет работы, часть которой велась удалённо в разгар пандемии коронавируса.

Источник изображений: Meta

Работа над суперкомпьютером возглавлялась командами искусственного интеллекта и инфраструктуры Meta. В проекте принимали участие несколько сотен специалистов, в том числе и сотрудники таких компаний, как NVIDIA, Penguin Computing и Pure Storage. Meta сообщила, что её исследовательская группа в настоящее время использует суперкомпьютер для обучения моделей искусственного интеллекта обработке естественного языка и компьютерному зрению для исследований. Цель состоит в том, чтобы расширить возможности обучаемых моделей с более чем триллионом параметров, используя наборы данных размером до эксабайта, что примерно эквивалентно 36 тысячам лет видео в высоком качестве.

«Опыт, который мы создаём для метавселенной, требует огромных вычислительных мощностей, а RSC позволит создавать новые модели ИИ, которые могут учиться на триллионах примеров, понимать сотни языков и многое другое», — заявил генеральный директор Meta Марк Цукерберг (Mark Zuckerberg).

Meta сообщает, что на данный момент её новый суперкомпьютер состоит из 760 систем NVIDIA DGX A100, которые в сумме содержат 6080 ускорителей вычислений NVIDIA A100, что ставит его на пятое место в рейтинге самых быстрых суперкомпьютеров мира. Для связи кластеров используется NVIDIA Quantum на InfiniBand с пропускной способностью 200 Гбит/с.

По словам Meta, к средине лета, когда RSC будет полностью достроен, он будет содержать около 16 тысяч графических процессоров NVIDIA A100, что сделает его самым быстрым суперкомпьютером для задач искусственного интеллекта в мире. Сообщается, что он сможет обрабатывать до 16 Тбайт данных в секунду. Компания отказалась раскрывать местоположение компьютера и стоимость проекта.

Искусственный интеллект обычно требует, чтобы компьютер одновременно выполнял огромное количество низкоточных вычислений. Для этой задачи очень хорошо подходят графические процессоры, имеющие тысячи вычислительных ядер, работающих одновременно. Обычные суперкомпьютеры оптимизированы для высокоточных операций, в то время как ИИ-компьютеры работают с гораздо более низкими уровнями точности, что позволяет существенно повышать скорость вычислений, не влияя на конечные результаты. Высокопроизводительная инфраструктура, такая как суперкомпьютер. необходима для обработки тех объёмов данных, которыми располагает Meta.

Сообщается, что суперкомпьютер Meta используется в исследовательских целях, и вряд ли продукты на его основе появятся в ближайшие годы. Предполагается, что цель компании состоит в том, чтобы создать модели ИИ, способные работать как человеческий мозг и даже обеспечивать контекстуальное понимание ситуаций. Они смогут работать на сотнях языков, анализировать текст, изображения, видео и разрабатывать инструменты дополненной реальности. Эта технология поможет Meta проще и более точно выявлять вредоносный контент, а также даст исследователям компании возможность разработать модели ИИ, которые смогут мыслить как человек и предложат богатый многомерный опыт в метавселенной.