Мобильный телефон научили передавать язык жестов для глухонемых

Сотрудники Корнелльского университета (Cornell University) разработали мобильный телефон для глухих и людей с ослабленным слухом. Мобильная связь для этой категории пользователей в основном была ограничена передачей текстовых сообщений. Четыре года назад исследователи начали работу на мобильным вариантом языка жестов (American Sign Language, ASL), чтобы с его помощью глухие пользователи смогли общаться по сотовому телефону. Первый прототип такого телефона был создан год назад и тестировался 25-ю добровольцами в Сиэтле. В основе технологии передачи жестов лежит принцип видеоконференции, но команда разработчиков использует свой программный алгоритм сжатия видео для уменьшения трафика. Учитывая ограниченную пропускную способность обычных сетей, передается лишь четкое изображение лица и рук, чтобы абонент смог разобрать жест.

Кроме этого, параллельно решается задача повышенного энергопотребления телефона в таком режиме. Частота кадров передаваемого видео автоматически снижается, когда пользователь не отвечает, а рассматривает на дисплее сообщение другого абонента. Разработанное исследователями программное обеспечение эффективно сжимает видео с камеры для передачи в сетях 2G и вся система может работать на скорости 15-20 Кбит/с. Текущей задачей разработчики видят адаптацию имеющегося ПО для интеграции в массовые модели мобильных телефонов.