Машина считала зрительный образ с мозга человека

Съёмка красочных снов в мозгу спящего может оказаться реальностью через несколько лет. Начав с распознавания в картине активности нейронов простых двигательных команд, учёные ныне добрались до считывания зрительных образов. Пусть картинки эти ещё примитивны – но наши мысли постепенно перестают быть территорией, куда нет доступа посторонним.

Не вводя в мозг какие-либо электроды, экспериментаторы научились чётко определять — что видит испытуемый. Хотя предъявляемые его взору изображения пока ещё чёрно-белые и содержат всего сотню довольно крупных пикселей (применялось изображение 10 х 10), — это огромное достижение в понимании "шаблонов" нейронной активности, связанных со столь сложными процессами, как восприятие зрительной информации.

Фантастический опыт японских учёных открывает дорогу к распознаванию в мозге человека и тех изображений, которые он никогда не видел наяву — снов или воображаемых миров. Только представьте работу художника или дизайнера, который просто сидит в кресле и закрыв глаза придумывает образы, которые тут же появляются на экране компьютера.


Такую потрясающую перспективу рисуют Юкиясу Камитани (Yukiyasu Kamitani) и его команда из лаборатории вычислительной неврологии института передовых телекоммуникационных исследований (ATR Computational Neuroscience Laboratories). Совместно с несколькими учёными из ряда других японских институтов и университетов они осуществили первую в мире визуализацию того, что видят люди, основанную на снятии параметров мозговой активности.

Камитани, кстати, знаком постоянным читателям. Это он и его коллеги в 2006 году построили и испытали любопытную вариацию интерфейса мозг-машина (Brain Machine Interface — BMI): человек, лежащий в кольце томографа, показывал рукой различные жесты, а компьютер, опираясь только на картинки мозговой активности, распознавал движения пальцев и выдавал соответствующие команды руке робота, которая повторяла жесты за человеком.

Новая работа является глубоким развитием того эксперимента. Только на этот раз учёные сосредоточили своё внимание на распознавании в мозге зрительных образов. Для чего, как и раньше, применили функциональную магнитно-резонансную томографию (fMRI).


Разумеется, никакой томограф не увидит в голове человека "лодки под парусами" или "солнце над рекой". Всё что он может — это показать изменение в кровотоке через определённые зоны коры, связанные с активностью тех или иных групп нейронов. Но, поняв закономерности в таких изменениях, можно научиться выполнять обратное преобразование — от возбуждения нейронов к тому, что вызвало эту реакцию — будь то голоса, мысли или те же самые картинки, стоящие перед глазами.

Этот подход, заметим, отличается от активно развивающегося параллельного направления чтения мыслей, в котором применяются обручи или шлемы с датчиками электроэнцефалограммы. Учёные уже показывали, как таким способом можно управлять гуманоидным роботом, а некоторые компании даже подготовили к выходу на рынок коммерческие версии BMI такого типа.

С одной стороны, применение громоздкого сканера fMRI (в отличие от носимых на голове датчиков мозговых волн) ограничивает опыты по чтению мыслей стенами лабораторий (или госпиталей), с другой, оно позволяет гораздо детальнее разглядеть мгновенные изменения в разных зонах коры, вызываемые тем или иным раздражителем.

Недавно, кстати, исследователи из Нидерландов научились выявлять в картине мозговой активности следы отдельных звуков речи, услышанной человеком. От этой работы до "телепатического общения" (которое так жаждет заполучить Пентагон) — настоящая пропасть. Но и первые шаги на этой ниве — важны. Вот и японские экспериментаторы во главе с Юкиясу объясняют, что даже получение на экране 100-пиксельных чёрно-белых картинок, "вынутых" из мозга человека, — лишь начало. А ведь и этот опыт, если разобраться, не так уж прост.


О "приблизительном угадывании" путём перебора всех вариантов картинок и их сравнения с "мозговым отпечатком" тут не могло быть и речи. Это слишком непродуктивно, ведь даже картинка, состоящая из 100 чёрных или белых квадратов, в пределе даёт 2100 возможных комбинаций. Это значит, что машина должна была выявлять в картине активности нейронов практически каждый пиксель увиденной человеком картинки по отдельности.

Для этого компьютер сначала должен был выявить закономерности в отклике тех или иных нейронов на предъявляемые картинки. Чтобы обучить машину, экспериментаторы показывали испытуемым 440 "стопиксельных" изображений (сгенерированных случайным образом), в течение 6 секунд каждое (с 6-секундными паузами). Томограф исправно поставлял компьютеру рисунки активности групп нейронов в зрительной коре (причём — в трёхмерном пространстве). Затем последовала ещё серия изображений, но уже не со случайным шумом, а с простыми геометрическими фигурами или отдельными буквами.

После такого обучения программа нашла корреляцию между пикселями на тестовом изображении и включающимися нейронами. А насколько составленные "правила" оказались верны — было легко проверить.

Во-первых, людям предъявляли разнообразные простые рисунки (в пределах всё той же решётки 10 х 10 точек), которые с хорошей достоверностью "проявлялись" на мониторе. А во-вторых, испытуемым показывали слово Neuron — и оно также исправно отражалось на компьютерном экране.


Ключом к успеху стало построение моделей отклика групп нейронов на разном масштабе для одной и той же картинки. То есть, получив сигнал с томографа, программа разбивала гипотетическое поле 10 х 10 пикселей (которое ей предстояло заполнить) на перекрывающиеся зоны разного размера (1 х 1 пиксель, 1 х 2 пикселя, 2 х 1, 2 х 2 и так далее). Затем, пользуясь своими шаблонами, она определяла, какова вероятность, что данная группа пикселей белая, чёрная или является комбинацией двух этих цветов.

Множество таких оценок позволяло машине выставлять цвет уже для каждого пикселя по отдельности, и такое реконструированное изображение оказывалось очень близким к тому, что видел человек на самом деле, хотя, конечно, не совпадало полностью.

(Детали этой работы можно найти в статье в журнале Neuron.)


Чтобы существенно повысить разрешение таких распознаваемых образов, а заодно — научиться считывать и информацию о цвете пикселей, потребуется ещё несколько лет экспериментов. Зато на горизонте вырисовываются привлекательные картины.

О рисовании одной силой мысли собственно картин или дизайнерских набросков мы уже упоминали (кстати, в компанию этой области применения новой технологии напрашивается мысленное сочинение музыки, опыты по которому уже давно идут).

Но это не всё. Медики, скажем, охотно получили бы "доступ" в мир галлюцинаций психически больных людей. Насколько упростилась бы диагностика и контроль за лечением заболевания, если бы доктора могли на экране компьютера наблюдать — что мерещится их подопечным!


Доктор Кан Чэн (Kang Cheng) из японского института исследования мозга (RIKEN Brain Science Institute) предсказывает, что дальнейшее развитие этой технологии в течение 10 лет не только позволит добавить к картинкам цвет, но вообще – перейти к буквальному чтению мыслей "с некой степенью точности".