Новый VR-браслет отслеживает движения кисти и пальцев

Устройство под названием FingerTrak — это браслет, оснащенный четырьмя небольшими тепловыми камерами, каждая размером с горошину. Благодаря им система может считывать изображения контуров запястья пользователя. Этой информации более чем достаточно для того, чтобы специальный алгоритм мог воспроизвести движение всей руки, включая положения каждого пальца.

«Главным открытиям нашей команды стал тот факт, что программе достаточно всего лишь отслеживать движения запястья, чтобы точно повторять моторику. Это первая система, воссоздающая движения пальцев в 3D-среде с помощью столь скоромного набора данных», рассказал Чен Чжан, один из авторов исследования.

Весь секрет кроется в система машинного обучения, которая прогнозирует положение суставов каждого пальца во время тех или иных движений. В дальнейшем подобные позы можно воссоздавать для любых целей — хоть в 3D-симуляции, хоть при разработке андроидов. В ходе испытаний FingerTrak доказал свою способность точно воспроизводить такие действия, как например перелистывание страниц книги, письмо от руки и использование тачскрина смартфона.

В будущем команда надеется сделать устройство еще более компактным и удобным для рядового пользователя, чтобы свести к минимуму дискомфорт при использовании. Если этого удастся достичь, то не исключено, что уже совсем скоро нас ожидает новое поколение VR-развлечений, построенных не только на общих движениях, но также на точечном манипулировании виртуальной средой с помощью собственных пальцев.