Intel Xeon в несколько раз превзошёл восемь Tesla V100 при обучении нейросети

Intel Xeon в несколько раз превзошёл восемь Tesla V100 при обучении нейросети

Центральный процессор в несколько раз обошёл по производительности связку сразу из восьми графических процессоров при глубоком обучении нейросетей. Звучит как что-то из научной фантастики, не так ли? Но исследователи из Университета Райса (Rice University) с помощью Intel Xeon доказали, что это реально.

Графические процессоры всегда намного лучше подходили для глубокого обучения нейросетей, нежели центральные процессоры. Это связано с архитектурой GPU, которые состоят из множества мелких ядер, которые способны параллельно выполнять очень много небольших задач, что как раз и требуется для тренировки нейросетей. Но оказалось, что и центральные процессоры при должном подходе могут быть очень эффективны в глубоком обучении.

Сообщается, что при использовании алгоритма глубокого обучения SLIDE процессор Intel Xeon с 44 ядрами оказался в 3,5 раза производительнее, нежели связка из восьми ускорителей вычислений NVIDIA Tesla V100. Пожалуй, это первый раз, когда CPU не только сравнялся с GPU в подобном сценарии, но и превзошёл их, причём очень заметно.

В выпущенном университетом пресс-релизе говорится, что алгоритм SLIDE не нуждается в графических процессорах, так как использует совершенно иной подход. Обычно при обучении нейросетей используется методика обратного распространения ошибки обучения, которая использует перемножение матриц, которое является идеальной нагрузкой для GPU. В свою очередь SLIDE превращает обучение в проблему поиска, которая решается с помощью хеш-таблиц.

Intel Xeon в несколько раз превзошёл восемь Tesla V100 при обучении нейросети

Глава исследовательской группы по разработке SLIDE Аншумали Шривастава (Anshumali Shrivastava)

По словам исследователей, это значительно снижает вычислительные затраты на обучение нейросетей. Для того, чтобы получить точку отсчёта, исследователи использовали имеющуюся в лаборатории Университета Райса систему с восемью ускорителями Tesla V100 для обучения нейросети с использованием библиотеки Google TensorFlow. Процесс занял 3,5 часа. После, аналогичная нейросеть была обучена с помощью алгоритма SLIDE на системе с одним 44-ядерным процессором Xeon, и это заняло всего лишь 1 час.

Тут стоит отметить, что в ассортименте Intel сейчас нет 44-ядерных моделей процессоров. Возможно, исследователи использовали какой-то кастомный или ещё не вышедший чип, но это маловероятно. Куда более вероятно, что здесь была использована система с двумя 22-ядерными Intel Xeon, или просто в пресс-релизе допущена ошибка, и речь идёт о 44 потоках, которые обеспечил один 22-ядерный процессор. Но в любом случае это не умаляет самого достижения.

Конечно, алгоритму SLIDE ещё предстоит пройти множество проверок и доказать свою эффективность, а также отсутствие каких-либо особенностей и подводных камней. Однако то, что мы видим сейчас, очень впечатляет и действительно может сильно повлиять на развитие индустрии.


Влад Кулиев, Supreme2.Ru

Коды для вставки в блог\форум




Интересные новости
Acer представила компактную рабочую станцию Chromebox CXI4 и смарт-динамик HaloAcer представила компактную рабочую станцию Chromebox CXI4 и смарт-динамик Halo
Опубликовано фото печатной платы, похожей на Radeon RX 6800(XT)Опубликовано фото печатной платы, похожей на Radeon RX 6800(XT)
LG выпустила первый в мире телевизор-рулон: Signature OLED R стоит $87 000LG выпустила первый в мире телевизор-рулон: Signature OLED R стоит $87 000
Протестирован компьютер с четырьмя GeForce RTX 3090: выдающаяся производительность в рендеринге, но вблизи можно оглохнутьПротестирован компьютер с четырьмя GeForce RTX 3090: выдающаяся производительность в рендеринге, но вблизи можно оглохнуть
Живее всех живых: 14-нм техпроцесс продолжит доминировать в чипах Intel в следующем годуЖивее всех живых: 14-нм техпроцесс продолжит доминировать в чипах Intel в следующем году
Блок рекламы


Похожие новости

Маловато будет: графика Intel Iris Xe Max едва превзошла NVIDIA GeForce MX330 в последнем тестеМаловато будет: графика Intel Iris Xe Max едва превзошла NVIDIA GeForce MX330 в последнем тесте
Объёмы поставок мобильных компонентов Intel увеличились на четвертьОбъёмы поставок мобильных компонентов Intel увеличились на четверть
Живее всех живых: 14-нм техпроцесс продолжит доминировать в чипах Intel в следующем годуЖивее всех живых: 14-нм техпроцесс продолжит доминировать в чипах Intel в следующем году
Дискретная графика Intel неожиданно дебютировала в ноутбуке ASUS VivoBook Flip 14Дискретная графика Intel неожиданно дебютировала в ноутбуке ASUS VivoBook Flip 14
Intel Core 12-го поколения Alder Lake-S впервые показался на фотографииIntel Core 12-го поколения Alder Lake-S впервые показался на фотографии
Intel наконец запустила масштабное 10-нм производство на новой фабрике Fab 42, которая строилась 9 летIntel наконец запустила масштабное 10-нм производство на новой фабрике Fab 42, которая строилась 9 лет
Intel обновит платформу LGA 1200 новыми чипсетами в марте. Они понадобятся для процессоров Rocket LakeIntel обновит платформу LGA 1200 новыми чипсетами в марте. Они понадобятся для процессоров Rocket Lake
Компактный HP Chromebox G3 предложит Intel Comet Lake U, твердотельный накопитель NVMe и до 16 Гбайт ОЗУКомпактный HP Chromebox G3 предложит Intel Comet Lake U, твердотельный накопитель NVMe и до 16 Гбайт ОЗУ
Процессоры Intel Tiger Lake обеспечат хромбукам скачок производительности до 2,5 разПроцессоры Intel Tiger Lake обеспечат хромбукам скачок производительности до 2,5 раз
AMD Ryzen Threadripper PRO 3995WX оказался в 2,3 раза производительнее ближайшего конкурента Intel в тесте PassMarkAMD Ryzen Threadripper PRO 3995WX оказался в 2,3 раза производительнее ближайшего конкурента Intel в тесте PassMark
Последние новости

Подгружаем последние новости