При разработке видеоредактора с тифлокомментариями использованы три разные state-of-the-art (флагманские) модели глубокого обучения, каждая из которых призвана решить определенную задачу. Первая анализировала аудиоряд и видеопоток для поиска тех моментов в фильме, где было бы уместно вставить озвучку происходящего. Вторая модель генерировала текстовое описание текущего кадра, а третья — озвучивала подготовленный текст. 

 

По словам разработчиков, им было интересно поработать с актуальной проблемой адаптации контента и интерфейсов для людей с ограниченными возможностями и создать полноценный видеоредактор в виде веб-приложения, применив на практике последние подходы в решении задач image2text, text2speech, voice detection.

 

В перспективе видеоредактор может быть доработан и использован в работе онлайн-кинотеатров, что позволит незрячим людям лучше представлять атмосферу фильмов. На сегодняшний день подобные сервисы создаются только для внутреннего пользования онлайн-кинотеатрами. В открытом доступе подобного программного обеспечения нет. 

 

Разработкой занимались студенты 4 курса Университета МИСИС Дмитрий Дин, Марк Кувшинов, Дмитрий Личко, а также студентки 3 курса МГУ имени Ломоносова Полина Черникова и Анастасия Гисина. Ребята создали видеоредактор в рамках хакатона TrueTech, организованного компанией МТС, и заняли первое место. Приз победителям составил 400 000 рублей.