История реализации проекта
Участники проекта представляют ведущую научно-техническую школу МГТУ им. Н.Э.Баумана под руководством Ю.Н.Филипповича, которая в течение последних 15 лет активно работает по тематике разработки жестомимического интерфейса.
На текущий момент выполнены дипломные и аспирантские проекты: «Программный комплекс создания и ведения словаря жестов», «Синтез анимированных жестов», «Артикуляционные образы. Словарь по информационным технологиям», «Мультимедийный тезаурус жестомимических образов терминов информатики», «Информационная технология создания систем аудиовизуального распознавания речи», «Лингвистический процессор автоматизированного перевода жестового языка», «Электронный словарь артикуляционных образов терминов в области информационных технологий», «Системы поддержки и проведения жестомимических ассоциативных экспериментов» и др.
Выпускниками школы создан специализированный ресурс «Сурдосервер» (http://surdoserver.ru/), собрана «Электронная библиотека специальной научно-методической литературы по сурдопереводу и обучению плохослышащих», разработаны экспериментальные макеты программных комплексов.
Стадия реализации
На данный момент реализован прототип приложения, который, используя дактильную азбуку, позволяет воспроизводить любые слова русского языка. В качестве аватара используется разработанная в системе 3ds Max структурная модель скелета. В настоящее время идет разработка более реалистичной модели.
Разработанный прототип приложения является кроссплатформенным. В частности, существует версия для мобильной платформы Android.
Также, реализована опытно-экспериментальная версия программного средства для распознавания жестов посредством компьютерного зрения.
Планы реализации
План развития проекта SurdoFriend включает следующие этапы:
- Разработка более реалистичной модели аватара, оптимизация производительности, перенос приложения перевода текста в жесты на различные платформы.
- Наполнение и оптимизация информационной базы жестов, создание интернет-ресурса для ее наполнения и ведения на базе crowdsourcing.
- Доработка модуля распознавания жестов и формирование обученной модели.
- Интеграция с движками по работе с естественным языком (речью).
- Решение задач по защите интеллектуальной собственности .
- Реклама и продвижение, поиск заинтересованных государственных, коммерческих и общественных структур.
- Разработка специализированных сервисов, развитие проекта.