Нейронный телефон подчиняется мыслям владельца

Стоило только подумать о друге, и вот его голос уже раздаётся в телефоне. Раньше такое можно было признать за счастливое совпадение или привлечь к объяснению мистическую телепатию, плохо изученную людскую интуицию, таинственные знаки судьбы… Но теперь прогресс позволяет организовать подобную магию вполне земными техническими средствами.

Удивительную систему создали компьютерные специалисты из Дартмутского колледжа (Dartmouth College). Называется новинка "Нейрофон" (NeuroPhone, PDF-документ). Она считывает мозговую деятельность, чтобы управлять приложениями телефона.

В качестве поставщика информации об активности нейронов авторы проекта использовали последнее поколение считывателя мозговых волн EPOC headset от американской компании Emotiv Systems, пионера в коммерческих компьютерно-мозговых интерфейсах (BCI).

EPOC headset стоит $299. Он обладает 16 электродами для снятия электроэнцефалограммы и при помощи соответствующего софта хорошо различает активность разных зон коры. Каждый из каналов проводит замер 128 раз в секунду. EPOC также определяет параметры альфа-, бета-, тета- и дельта-волн.
Аппарат оборудован встроенным гироскопом, фиксирующим повороты головы пользователя, и беспроводной связью с компьютером. Литиевой батареи хватает на 12 часов работы устройства (фото Emotiv Systems).

Высокое разрешение сигналов, обеспечиваемое EPOC, дало учёным возможность вволю поэкспериментировать с интерпретацией откликов разума на различные внешние воздействия.

Понятно, что чем больше нейрофизиологи узнают о закономерностях в работе коры головного мозга, тем шире круг опытов, которые можно поставить с машинным распознаванием мыслей. В том же мобильнике подобный принцип мог бы быть применён к решению разных задач. Но в данном случае авторы системы, для примера, решили сосредоточить своё внимание на наборе номера.

Для распознавания желаемого человека в списке контактов, оформленного в виде набора фотографий, программа "Нейрофона" использует детекцию так называемого сигнала P300 – свидетельства узнавания заданного объекта.

Этот пик на ЭЭГ возникает в центрально-теменной области мозга с задержкой в 300 миллисекунд после стимула (отсюда и название сигнала), и его можно найти с той или иной степенью выраженности на большинстве каналов считывателя.

Фотографии абонентов попеременно подсвечиваются или выделяются каким-то иным способом. В этот момент человек смотрит на экран телефона и думает о том, кому хочет позвонить. При совпадении перебора вариантов с желаемым звонком мозг выдаёт P300. Его выделяет среди потока данных специальная программа в телефоне. Она и активирует набор номера.

Набор номера при помощи системы NeuroPhone. Собственно сам набор начинается автоматически после того, как в ответ на подсветку "правильного" человека из списка контактов мозг выдаёт сигнал "узнавания и пожелания" (фото Dartmouth College).

Тут следует сделать оговорку: сначала данные со считывателя попадают на ноутбук, который проводит предварительную обработку сырого сигнала, выделяя из всего потока ту часть информации, которая потребуется именно в данном приложении.

Лэптоп через Wi-Fi передаёт этот "промежуточный результат" на iPhone, а тот уже завершает цикл обработки. Использование одного только телефона было бы затруднительным: переваривание всего массива сигналов с сенсоров ЭЭГ – это довольно ресурсоёмкая задача. Впрочем, перед нами только опытная система, указывающая в "светлое будущее" BCI.

Схема размещения контактов на голове пользователя (иллюстрация Dartmouth College).

Американские умельцы продемонстрировали в работе и второй вариант выбора нужного человека: когда подсвечивается "та" фотография, пользователь подмигивает ей. Заметим, комплекс NeuroPhone определяет не само движение век, а опять-таки – характерный импульс ЭЭГ, чётко ассоциируемый с морганием.

Тест показал, что такой выбор номера работает надёжнее, чем первый вариант. Особенно этот приём выгоден в условиях, когда какие-то внешние факторы отвлекают человека.

Так точность распознавания "Нейрофоном" выбранного лица в случае моргающего режима колебалась от 86% до 99,4%, в зависимости от того, сидел человек или ходил. Выбор номера чистой мыслью, без моргания, давал разброс совпадений от 33,3% до 88,9% – тут влияли условия опыта, например были помехи в виде музыки, и длительность просмотра мигающих снимков.

Авторы "Нейрофона" признают, что другие технологии управления приложениями мобильника (вроде программ распознавания речи) могут в ряде случаев оказаться удобнее, но зато мысленное управление пригодится там, где нужно подать несколько команд телефону беззвучно и по-прежнему в режиме hands-free.

Так выглядит сырая информация о мозговой активности, поставляемая четырнадцатью основными сенсорами считывателя EPOC (ещё два его контакта носят вспомогательную роль). Шкала внизу – секунды (иллюстрация Dartmouth College).

Разработчики придумали дополнительные варианты использования своей технологии. Ведь в обширных сигналах, идущих из мозга, можно выловить массу ценных сведений, если только знать – куда смотреть.

Представьте ситуацию, когда "Нейрофонами" обладают все студенты в группе изучения иностранных языков. Преподаватель, задавая вопрос, может в реальном времени увидеть на экране своего мобильника, кто из подопечных понял его, а кто нет. Программа расставит соответствующие знаки напротив портретов.

Другое следствие из распространения "Нейрофонов" ещё удивительнее. Представьте, что человек с таким мобильником входит в клуб или бар, дом, где собирается компания. И у других гостей тоже включены гарнитуры "мозговых считывателей".

Сразу после того как наш персонаж переступил порог дома, он получает на свой телефон информацию о… настроении присутствующих: веселы они или напряжённы, грустно им, не скучают ли? Быть может, они настроены враждебно к очередному визитёру? Такое распознавание доступно считывателям ЭЭГ уже сейчас.

Члены команды, создавшей NeuroPhone: Эндрю Кэмпбелл (Andrew Campbell), Танзим Чоудхури (Tanzeem Choudhury), Хун Лу (Hong Lu) и Раджив Раизада (Rajeev Raizada) (фотографии Dartmouth College).

Учёные отмечают, что на пути распространения технологии NeuroPhone стоит ещё немало препятствий. Более-менее приемлемые по цене и весу считыватели мозговых волн всё же уступают в точности и насыщенности информации большим лабораторным установкам "исследовательского класса".

А это в свою очередь приводит к тому, что большое внимание приходится уделять фильтрации нужных мозговых сигналов среди шумов, а также – машинному обучению, помогающему софту корректно работать с конкретным пользователем.

Тем не менее развивать это направление, по мнению авторов "Нейрофона", — ещё как стоит. Оно сулит повышение удобства и безопасности пользования мобильником во время ходьбы по оживлённой улице, вождения автомобиля или велосипеда и так далее.

В будущем, предполагают исследователи из Дартмутского колледжа, считыватели ЭЭГ станут ещё компактнее и дешевле. Тогда они смогут быть интегрированы в обычные беспроводные наушники, в шапки и бейсболки, мотоциклетные или велосипедные шлемы. Нынешний NeuroPhone – первый шаг к этой мечте.