本研究は, Optical See-Through Head Mount Display(OSTHMD)を用いた一人称視点指文字認識システムの開発を行う. OSTHMDに搭載されたカメラから手姿勢推定を行い, その手姿勢データと対応する指文字のデータセットを作成した. 当該システムは, 作成したデータセットに機械学習を適用することでHand Gestureを推定・音声化する. 本研究の目的は, 聴覚障害者と健常者のコミュニケーションが可能となるシステムの提案である.
（英）
In this study, we develop a first-person’s view Japanese finger spelling recognition system using an Optical See-Through Head Mount Display (OSTHMD). The system estimates the hand posture from the camera mounted on the OSTHMD and applies machine learning to the hand posture data to estimate the hand gestures and convert them into speech. The main purpose of this research is to propose a system that enables non-verbal and verbal people to communicate.