Витая в облаках: как Netflix запустил искусственный интеллект на AWS

Исследуя происходящее в облачных пространствах, то и дело натыкаешься на смежные области, казалось бы, с облаками никак не связанные. Например, на информацию о свойствах и новых формах машинного обучения или об искусственном интеллекте. Хотя, ваш покорный слуга тут немного слукавил – найти в сегодняшней реальности ИТ-стартап, функционирующий онлайн и не связанный с облаками, подчас оказывается весьма непростой задачей. Поэтому предлагаю сегодня, на примере одной весьма интересной в технологическом плане истории, обсудить перспективы перекрестного опыления прогрессивных технологий. А именно – облаков, искусственного интеллекта и машинного обучения.

История, послужившая поводом к сегодняшней колонке, и впрямь весьма занимательная, хоть и чисто потребительская, не корпоративная. Но каждый из нас время от времени приходит с работы домой и превращается, условно говоря, из создателя контента в его потребителя. Так вот, скажите, как вы находите новые фильмы? Чаще всего их вам рекомендуют друзья, ведь никто не знает ваш вкус также хорошо и обладает достаточной статистикой, под которой я подразумеваю совместные походы в кинотеатр и просмотр фильмов на диване на выходных. С музыкой проще – рекомендательные сервисы научились пользоваться тегами настолько хорошо, что достаточно написать имя любимого исполнителя в поисковую строку и получить с десяток действительно очень похожих на него групп. Но предполагал ли кто-нибудь, насколько серьёзной является проблема рекомендаций для всевозможных онлайн-кинотеатров? Которые, кстати говоря, являются крайне интересным рынком, в том числе в России (но об этом где-нибудь в соседней колонке).

Так вот, недавно один из известнейших онлайн-кинотеатров в мире – Netflix – запустил новый тренд, подойдя к вопросу рекомендации фильмов очень обстоятельно и ответственно. Компания запустила проект рекомендательной системы на основе концепции под названием «глубокое обучение». Это целый набор методов, исследований и практик в области искусственного интеллекта, главной задачей которого всё так же является пока еще неисполнимое желание людей заставить компьютер мыслить как человеческий мозг.

В этом смысле Netflx не изобрел велосипед, а лишь пошел по стопам веб-гигантов вроде Google и Facebook, которые активно используют технологию. Google, кстати, отличилась тем, что наняла одного из лучших в мире специалистов по искусственному интеллекту, Геофри Хинтона (Geoffrey Hinton). Вышеобозначенные компании уже активно используют глубокое обучение для самых разных целей, от сортировки изображений до распознавания голоса. Однако, подход Netflix принципиально отличается от остальных и поэтому он нам столь интересен. 

Дело в том, что в отличие от Google и Facebook, экспериментирующих с искусственным интеллектом на собственных мощностях, Netflix планирует запускать свои алгоритмы на серверах Amazon. И это в очередной раз показывает, что облака позволяют среднему и крупному бизнесу конкурировать с корпорациями на равных. О чем мы, кстати, уже писали в материале «Как ИТ позволяют малому бизнесу конкурировать с корпорациями».

Стоит заметить, что большинство методов глубокого обучения так или иначе завязано не нейронных сетях, точнее компьютерной симуляции огромных нейронных сетей мозга, пропускающих множество сигналов туда и обратно. Загвоздка в том, что наука до сих пор не разобралась окончательно с тем, как именно работает мозг, поэтому смоделировать работу нейронной сети мы можем, но это лишь частично продвигает нас к цели. Однако, сегодня в мире происходят колоссальные подвижки в этой области, поскольку машинное обучение, искусственный интеллект и прочие подобные технологии перестали быть чисто лабораторной концепцией. С тех пор, как компьютеры стали достаточно мощными и доступными, началась практическая работа. И хотя, по данным Engineering and Technology Magazine, крупнейшие компьютерно-нейронные сети способны повторять лишь 1% деятельности головного мозга, они уже могут распознавать лица на фотографиях, изучать ваши вкусы и привычки, и, до определённого уровня, понимать что вы говорите.

Технологические подробности тоже достаточно неожиданны. Несмотря на то, что Qualcomm разрабатывают специальные чипы, моделирующие человеческий мозг, большинство коммерческих нейронных сетей работают на основе... GPU. Да, тех самых графических процессоров, созданных для скоростной обработки изображений и видео, используемых геймерами, дизайнерами и инженерами. Отличительной особенность GPU, благодаря которой они так хорошо подходят для моделирования мозга, является их мультизадачность или параллельный процессинг. Собственно, крупные фермы GPU-чипов сейчас используются во всевозможных проектах, где требуются большие объёмы вычислений. А Amazon как раз в конце прошлого года запустила первые облачные GPU-инстансы.

Новость заключается в том, что теперь компании, предоставляющие своим клиентам SaaS-решения, могут арендовать машины, оснащённые графическими процессорами NVIDIA GRID, и предоставлять доступ к требовательным к графике приложениям на удалённых устройствах. То есть теперь облачные вычисления становятся доступными не только для хранения, обработки данных и использования обычных приложений, но и для работы с приложениями, требующими графического ускорения.

По сути, это означает, что теперь все программы, требующие высокой графической производительности, могут поставляться через облако. А это открывает целый новый рынок: игры, графические и видеоредакторы, средства проектирования и моделирования — всё через облако! Строго говоря, эксперименты с играми через облако уже были (Onlive), равно как и с графическими редакторами (Adobe). Но они требовали наличия монструозных вычислительных и графических мощностей на стороне провайдера.

Тогда мы и предположить не могли, что это приведёт не только к переходу всевозможных «тяжелых» графических приложений в облако, но и к тому, что моделирование нейронных станет коммерческим, выйдя из лабораторий не только для корпораций, но и для компаний поменьше. К слову, Геофри Хинтон, которого Google наняла, чтобы сделать искусственный интеллект реальностью, совместно с одним из своих студентов, разработал Open Source проект, который и взяли за основу инженеры Netflix. 

Специалисты, работающие в онлайн-кинотеатре, опубликовали для интересующихся весьма насыщенный технологическими подробностями пост в блоге Netflix, где желающие могут ознакомиться с алгоритмами и архитектурой. Между тем, самое главное, что можно извлечь из этой истории – это то, что глубокое обучение готово не только к коммерциализации, но и к тому, чтобы вращаться в облачной инфраструктуре. И Netflix, работающий с опенсорсным продуктом в GPU-облаках от Amazon, это прекрасно иллюстрирует.