Intel работает над оптическими чипами для более эффективного ИИ

Фотонные интегральные схемы или оптические чипы потенциально обладают множеством преимуществ по сравнению с электронными аналогами, такими как снижение энергопотребления и уменьшение задержки в вычислениях. Вот почему множество исследователей считают, что они могут оказаться крайне эффективны в задачах машинного обучения и создания искусственного интеллекта (ИИ). Компания Intel также видит большие перспективы для применения кремниевой фотоники в данном направлении. Группа её исследователей в научной статье подробно описала новые методы, которые могут приблизить оптические нейронные сети на шаг ближе к реальности.

Группа исследователей при поддержке Intel описала методы применения архитектурных решений, позволяющих использовать оптические чипы без потерь в производительности, несмотря на неизбежные дефекты производства

В недавней публикации в блоге Intel, посвящённому машинному обучению, рассказывается, как начинались исследования в области оптических нейронных сетей. Научные работы Дэвида Миллера (David A. B. Miller) и Майкла Река (Michael Reck) продемонстрировали, что тип фотонной цепи, известный как интерферометр Маха-Цендера (MZI), может быть сконфигурирован для выполнения перемножения матриц размером 2 ? 2, при этом, если разместить MZI в треугольной сетке для перемножения больших матриц, можно получить схему, которая реализует алгоритм умножения матрицы на вектор — основное вычисление, используемое в машинном обучении.

Новое исследование Intel сосредоточилось на изучении того, что происходит при появлении различных дефектов, которым подвержены оптические чипы при производстве (поскольку вычислительная фотоника является аналоговой по своей природе), вызывающих различия в точности вычислений между разными чипами одного типа. Хотя подобные исследования уже проводились, в прошлом они были сосредоточены больше на оптимизации после изготовления для устранения возможных неточностей. Но данный подход имеет плохую масштабируемость, поскольку сети становятся всё больше в размерах, что приводит к увеличению вычислительной мощности, необходимой для настройки оптических сетей. Вместо оптимизации после изготовления Intel рассмотрела возможность единоразового обучения чипов перед изготовлением благодаря использованию устойчивой к помехам архитектуре. Эталонная оптическая нейронная сеть была обучена один раз, после чего параметры обучения были распределены по нескольким сфабрикованным экземплярам сети с различиями в их компонентах.

Команда Intel рассмотрела две архитектуры для построения систем искусственного интеллекта на базе MZI: GridNet и FFTNet. GridNet предсказуемо размещает MZI в сетке, а FFTNet размещает их в виде «бабочек». После обучения обеих в моделировании на эталонной задаче глубокого обучения распознаванию рукописных цифр (MNIST), исследователи обнаружили, что GridNet достигла более высокой точности, чем FFTNet (98 % против 95 %), но при этом архитектура FFTNet оказалась «значительно более надёжной». Фактически производительность GridNet упала ниже 50 % с добавлением искусственного шума (помех, имитирующих возможные дефекты про производстве оптических чипов), в то время как для FFTNet она оставалась почти постоянной.

Ученые утверждают, что их исследования закладывают основу для методов обучения искусственного интеллекта, которые помогут избавиться от необходимости тонкой настройки оптических чипов после их производства, экономя драгоценное время и ресурсы.

«Как и в любом производственном процессе, возникают определённые дефекты, которые означают, что между микросхемами будут небольшие различия, и они будут влиять на точность вычислений», — пишет старший директор группы продуктов Intel AI Казимир Вежински (Casimir Wierzynski). «Если оптические нейронные сути станут жизнеспособной частью аппаратной экосистемы искусственного интеллекта, им потребуется перейти на более крупные микросхемы и технологии промышленного производства. Наши исследования показывают, что выбор правильной архитектуры заранее может значительно увеличить вероятность того, что полученные микросхемы достигнут желаемой производительности даже при наличии производственных вариаций».

В то же время, пока Intel в основном проводит исследования, кандидат физико-математических наук из Массачусетского технологического института Ишен Шен (Yichen Shen) основал стартап Lightelligence, базирующийся в Бостоне, который привлёк венчурное финансирование на сумму 10,7 млн долларов США и недавно продемонстрировал прототип оптического чипа для машинного обучения, который в 100 раз быстрее, чем современные электронные чипы, а также на порядок снижает энергопотребление, что ещё раз наглядно демонстрирует перспективы фотонных технологий.