Новая технология поиска видео по его "отпечаткам пальцев"

Взрывной рост видео в Интернете вызывает необходимость в новых подходах к сортировке и поиску по аудиовизуальному контенту. Большинство технологий в этом случае основаны на семантической аннотации, где видео вручную описывается ключевыми словами в текстовой форме. Как подтвердят многие пользователи YouTube, написание нескольких тегов для пары роликов не является существенной проблемой. Но проделать то же с тысячами файлов, как приходится поступать провайдерам контента и медибиблиотекам, - это большие затраты времени и средств.

Альтернативой является использование программного обеспечения, которое автоматически извлекает небольшие фрагменты видео и создаёт уникальный идентификатор на основе ряда аудиовизуальных характеристик, таких как изменения в сцене, движении и звуковом сопровождении. Эти цифровые "отпечатки пальцев" затем применяются для индексации и поиска по всей базе видео или аудио. Технология неплохо работает для несжатого контента, но неэффективна для распространённых форматов, используемых в веб-сервисах или телевещании. Как рассказывает Ник Ахиллеопулос (Nick Achilleopoulos), который курирует разработку новой технологии в рамках основанного ЕС проекта DIVAS (Direct Video & Audio Content Search Engine – прямой поисковый механизм по аудио- и видеоконтенту), это и подтолкнуло к созданию иной методики индексации и поиска по сжатому видео вне зависимости от формата и способа хранения. С этой целью исследователи занимаются двумя программными алгоритмами: один должен создавать отпечатки для аудио и/или видео, а другой – использовать их в процессе осуществления поиска.

В отличие от большинства цифровых систем обработки характерных признаков контента, DIVAS не нуждается в преобразовании видео в "сырой" RAW-формат, что уменьшает потребность в вычислительной мощности компьютеров и пространстве дисковой подсистемы, а сам процесс индексации проходит значительно быстрее. Например, если другие способы предполагают генерирование идентификатора из 60 Гб несжатого видео, то DIVAS может работать с 4 Гб видео в DVD-качестве. К тому же анализу поддаётся большинство популярных форматов, от DVD и MPEG до WMV, а также аудио MP3 и AAC. "ПО определяет особенности роликов или звукозаписей почти так же, как воспринимает отдельные элементы человек. Учитываются изменения с сцене, движение камеры, уровень яркости, перемещение людей и объектов", - говорит Ахиллеопулос. Аудиоданные также формируют часть набора ключевых особенностей видео, предоставляя ключевую дополнительную информацию в случае похожих записей наподобие лекций или концертов.

Аудиовизуальные отпечатки хранятся в файлах XML в комбинации со стандартом описания мультимедийного контента MPEG 7. Благодаря этому осуществляется простой и быстрый поиск. Ахиллеопулос объясняет суть работы с технологией пользователем: "Скажем, вы увидели короткий клип или телевизионный сериал и желаете увидеть больше, но не знаете названия. Вы просто загружаете видео в поисковую систему DIVAS и получаете не только новые серии, но также информацию о сезоне, эпизоде и точной минуте в серии загруженного вами отрывка". Есть однако одна особенность, которая заключается в том, что необходимо иметь индексированную базу данных контента для сравнения с ней отпечатков конкретного видео. Такая функциональность пригодится тем, кто имеет большую коллекцию фильмов, и поможет отыскать нужный с помощью трейлеров в Интернете. К слову, команда DIVAS разрабатывает экспериментальный плагин для Firefox именно с этой целью.

Ключевой же рынок для технологии – это медиакомпании и поисковые сервисы, нуждающиеся в быстродействующих методиках индексации и поиска по видео, кинопроизводители, которые в закоулках Сети ищут пиратские копии, и рекламодатели. Как рассказывает Ахиллеопулос, многие компании заинтересованы в мониторинге телевещания, чтобы убедиться в появлении своей рекламы в эфире с заданной частотой и в оговоренных временных рамках. Сегодня это делается путём записи эфира дорогостоящим оборудованием и даже просмотра ТВ человеком, поэтому запись в сжатые файлы и автоматическое создание программным обеспечением отпечатков, которые затем сравниваются с образцами рекламы, будет гораздо эффективнее. Уже ведутся переговоры с крупным рекламодателем и сетевыми сервисами с большим количеством видео. А израильский партнёр проекта Optibase внедрил технологию в услугу доставки видео по Интернету EZTV. Ведутся также поиски инвесторов для дальнейшей работы над DIVAS.