Создаётся робот с выдающимся слухом

Мы живём в мире звуков. Тихий скрип открывающейся двери предвещает спокойную беседу, а если дверь хлопнула — жди разговора на повышенных тонах.

HEARBO (HEAR-ing roBOt, «Слышащий робот»), разрабатываемый Японским исследовательским институтом корпорации Honda, призван стать первой машиной, которая войдёт в этот мир звуков. Информация о проекте была представлена в этом году на Международной конференции IEEE по интеллектуальным роботам и системам, а также на мероприятии RO-MAN.

Если HEARBO увлечётся музыкой и не расслышит команду человека, он всё равно поймёт, что речь обращена к нему, после чего снизит внимание к музыке и попросит оператора повторить.

Прежде всего робота пытаются научить распознавать голосовые команды — примерно так же, как это делает программа Siri корпорации Apple, но с двух метров. Машина должна уметь концентрироваться на определённой группе звуков в той какофонии, которая окружает нас и окружит её. Как только система понимает, что человек заговорил, она понижает уровень прочего шума и включает распознаватель речи.

Этот подход (beamforming) уже известен, HEARBO должен лишь вывести его на новый уровень. Представьте себе: телевизор работает, дети кричат, в дверь кто-то стучит. Как понять, на чём следует сфокусировать внимание? Для этого разработчики предложили трёхшаговую систему HARK: локализация, разделение, распознавание. На основании данных о том, откуда доносятся звуки, робот решает, что именно доносится, выделяя и анализируя самое важное. Например, плач ребёнка может восприниматься как белый шум, а может нести информацию.

Алгоритм локализации источника звука демонстрировался на IROS 2012: робот смог точно определить местоположение человека, звавшего на помощь. На сегодня система способна различать до четырёх звуков или голосов. Теоретически восемь микрофонов HEARBO позволят ему одновременно распознать семь источников, что человек с его двумя ушами сделать не в состоянии.

Робота учат различать музыку, человеческий голос и фоновый шум. Послушав несколько песен, он при звуках незнакомой композиции «понимает», что это музыка. Значит, уже не спутает любовный призыв радиопевца с окликом хозяина. На видео вокруг HEARBO расположены три источника звука: справа от него — будильник, впереди — колонка, из которой раздаётся музыка, слева — человек. Первым делом робот воспринимает все звуки сразу, анализирует их и определяет положение источника. Затем концентрирует внимание на каждом по отдельности:

Одна из проблем — шум его двигателей, которые искажают звук. Наш слух отфильтровывает лишнее (например, звук сердцебиения), вот и роботу надо сделать то же самое. В корпус вставляются микрофоны, которые помогают отделить внутренний звук от внешнего, поступающего в голову. На следующем видео танцующему HEARBO музыка не мешает понимать команды оператора:

Кстати, исходный код HARK находится в открытом доступе.

Подготовлено по материалам IEEE Spectrum.