В проекте SurdoFriend предполагается использование нескольких технологий:
- Gesture Recognition (технология распознавания жестов рук). Данная часть проекта базируется на использовании методов компьютерного зрения, в частности на обучении каскадов классификаторов. Кроме того, для обработки нечетких вариантов распознания используются словарные и другие методы компьютерной лингвистики, которые базируется на специально созданных тезаурусах, информационных языках описания жестов и соответствующих формальных моделях.
- Text-To-Speech (технология синтеза речи). Сейчас на рынке имеются несколько готовых движков распознавания речи (SVOX Mobile TTS, Acapela TTS, Loquendo Embedded TTS, Sakrament TTS и т. д.). Предполагается использование одного из них.
- Speech Recognition (технология распознавания речи). Также планируется использовать существующие движки, например, компании Google и Nuance предоставляют онлайн (облачные) сервисы распознавания речи, имеющие документированные API.
- Технология синтеза анимированных образов жестов глухонемых. В данной области имеются собственные наработки, связанные с 3D-моделированием виртуальных персонажей, подбором и синтезом предварительно записанных жестов. Здесь ключевым технологическим аспектом является обеспечение производительности мобильных платформ и скорости доступа к облачным сервисам (удаленной загрузки)