Цель проекта
Целью проекта SurdoFriend является создание приложения для автоматического перевода языка жестов глухонемых в устную речь и обратно. Оно призвано решить важную социальную задачу – преодолеть проблемы коммуникации между людьми с различными возможностями по слуху.
Конечный продукт
В качестве конечного продукта SurdoFriend выступает программное обеспечение для ПК и мобильных платформ (смартфонов, планшетов, навигаторов), которое позволяет распознавать жесты, используемые глухими, переводить их в текст или звуковую речь, а также, решать обратную задачу (синтез жестов языка глухих из текста или аудио речи).
Основным преимуществом мобильной версии является доступность сервиса для пользователей в различных жизненных ситуациях.
Потенциальным недостатком является ограничение аппаратного обеспечения мобильных устройств (качество камеры, настройки режима съемки и т.д.), которые во многом могут быть разрешены при стационарном размещении, подключении дополнительных камер и датчиков (например, на базе технологии Kinect).
Дополнительную сложность представляет значительный размер данных, которые либо должны храниться удаленно (в этом случае нужен хороший канал связи), либо локально (здесь требуется существенная емкость и регулярное обновление).
Новизна
Используются авторские (оригинальные) алгоритмы визуального распознавания жестов, выявления и описания траектории, компонентного разбора на основе структурно-аналитических методов и результатов алгоритмов машинного обучения. На этапах уточнения жестов используются словарные и другие методы компьютерной лингвистики, которые базируется на специально созданных тезаурусах, информационных языках описания жестов и соответствующих формальных моделях
