Intel Xeon в несколько раз превзошёл восемь Tesla V100 при обучении нейросети

Intel Xeon в несколько раз превзошёл восемь Tesla V100 при обучении нейросети

Центральный процессор в несколько раз обошёл по производительности связку сразу из восьми графических процессоров при глубоком обучении нейросетей. Звучит как что-то из научной фантастики, не так ли? Но исследователи из Университета Райса (Rice University) с помощью Intel Xeon доказали, что это реально.

Графические процессоры всегда намного лучше подходили для глубокого обучения нейросетей, нежели центральные процессоры. Это связано с архитектурой GPU, которые состоят из множества мелких ядер, которые способны параллельно выполнять очень много небольших задач, что как раз и требуется для тренировки нейросетей. Но оказалось, что и центральные процессоры при должном подходе могут быть очень эффективны в глубоком обучении.

Сообщается, что при использовании алгоритма глубокого обучения SLIDE процессор Intel Xeon с 44 ядрами оказался в 3,5 раза производительнее, нежели связка из восьми ускорителей вычислений NVIDIA Tesla V100. Пожалуй, это первый раз, когда CPU не только сравнялся с GPU в подобном сценарии, но и превзошёл их, причём очень заметно.

В выпущенном университетом пресс-релизе говорится, что алгоритм SLIDE не нуждается в графических процессорах, так как использует совершенно иной подход. Обычно при обучении нейросетей используется методика обратного распространения ошибки обучения, которая использует перемножение матриц, которое является идеальной нагрузкой для GPU. В свою очередь SLIDE превращает обучение в проблему поиска, которая решается с помощью хеш-таблиц.

Intel Xeon в несколько раз превзошёл восемь Tesla V100 при обучении нейросети

Глава исследовательской группы по разработке SLIDE Аншумали Шривастава (Anshumali Shrivastava)

По словам исследователей, это значительно снижает вычислительные затраты на обучение нейросетей. Для того, чтобы получить точку отсчёта, исследователи использовали имеющуюся в лаборатории Университета Райса систему с восемью ускорителями Tesla V100 для обучения нейросети с использованием библиотеки Google TensorFlow. Процесс занял 3,5 часа. После, аналогичная нейросеть была обучена с помощью алгоритма SLIDE на системе с одним 44-ядерным процессором Xeon, и это заняло всего лишь 1 час.

Тут стоит отметить, что в ассортименте Intel сейчас нет 44-ядерных моделей процессоров. Возможно, исследователи использовали какой-то кастомный или ещё не вышедший чип, но это маловероятно. Куда более вероятно, что здесь была использована система с двумя 22-ядерными Intel Xeon, или просто в пресс-релизе допущена ошибка, и речь идёт о 44 потоках, которые обеспечил один 22-ядерный процессор. Но в любом случае это не умаляет самого достижения.

Конечно, алгоритму SLIDE ещё предстоит пройти множество проверок и доказать свою эффективность, а также отсутствие каких-либо особенностей и подводных камней. Однако то, что мы видим сейчас, очень впечатляет и действительно может сильно повлиять на развитие индустрии.


Влад Кулиев, Supreme2.Ru

Коды для вставки в блог\форум




Интересные новости
ADATA представила накопитель Prospector 950 с повышенным ресурсом для майнинга ChiaADATA представила накопитель Prospector 950 с повышенным ресурсом для майнинга Chia
В ранних тестах 14-ядерный мобильный Alder Lake оказался медленнее 8-ядерного Ryzen 7 5800HВ ранних тестах 14-ядерный мобильный Alder Lake оказался медленнее 8-ядерного Ryzen 7 5800H
Kingston представила оперативную память FURY Renegade, Beast и Impact с частотой до 5333 МГцKingston представила оперативную память FURY Renegade, Beast и Impact с частотой до 5333 МГц
Thermaltake представила СЖО Floe RC Ultra для охлаждения процессора и памятиThermaltake представила СЖО Floe RC Ultra для охлаждения процессора и памяти
Представлен интерьерный телевизор Samsung The Serif с диагональю 65 дюймовПредставлен интерьерный телевизор Samsung The Serif с диагональю 65 дюймов
Блок рекламы


Похожие новости

EVGA выпустила 600-долларовую плату Z590 Dark для экстремального разгона Intel Rocket Lake-SEVGA выпустила 600-долларовую плату Z590 Dark для экстремального разгона Intel Rocket Lake-S
Intel готова вложить в новое европейское предприятие $20 млрд уже на первом этапеIntel готова вложить в новое европейское предприятие $20 млрд уже на первом этапе
Intel выпустит процессоры Sapphire Rapids в форм-факторе HEDT для чипсета W790Intel выпустит процессоры Sapphire Rapids в форм-факторе HEDT для чипсета W790
Глава Intel считает, что дефицит компонентов достигнет пика во втором полугодииГлава Intel считает, что дефицит компонентов достигнет пика во втором полугодии
Германия попытается убедить Intel построить новую полупроводниковую фабрику в БаварииГермания попытается убедить Intel построить новую полупроводниковую фабрику в Баварии
Первые игровые тесты дискретной видеокарты Intel Iris Xe (DG1) — почти 30 FPS в Cyberpunk 2077Первые игровые тесты дискретной видеокарты Intel Iris Xe (DG1) — почти 30 FPS в Cyberpunk 2077
Бизнес-ноутбуки Dynabook Tecra A40-J и Tecra A50-J оснащены чипом Intel Core 11-го поколенияБизнес-ноутбуки Dynabook Tecra A40-J и Tecra A50-J оснащены чипом Intel Core 11-го поколения
Ускорители вычислений на графических процессорах Intel будут использовать СЖОУскорители вычислений на графических процессорах Intel будут использовать СЖО
Intel рассматривает использование технологии AMD FidelityFX Super Resolution в своих игровых видеокартахIntel рассматривает использование технологии AMD FidelityFX Super Resolution в своих игровых видеокартах
Раджа Кодури показал образец дискретного графического процессора Intel DG2Раджа Кодури показал образец дискретного графического процессора Intel DG2
Последние новости

Подгружаем последние новости