講演抄録/キーワード |
講演名 |
2010-03-12 15:15
MSD-HMMによる隠れ領域を考慮した手話動作のモデル化 ○酒向慎司・北村 正(名工大) WIT2009-88 |
抄録 |
(和) |
動画像から手話を認識することは,センサー等の特殊な装置の使用やその身体的拘束を伴わない方法として有効であるが,撮像されている人物から手話の動作特徴を的確に取得する必要がある.しかし,手話動作において,両手が交差することなどよって特徴となる部位が隠れてしまう状況は避けられず,とくに単眼カメラの映像から手動作の軌跡を正確に抽出することは難しいと言える.しかし,そのような状況を回避するために,多数のカメラを用いることは先に述べた装置の特殊化にも繋がる点で問題である.本報告では,特徴部位が隠れることも手話動作の特徴としてとらえるという着想から,手話動作を表す特徴部位の可視状態と不可視状態が混在した一連の現象を説明することができるモデル化方法として,多空間分布に基づいた隠れマルコフモデル(multi-space distribution hidden Markov model: MSD-HMM)を適用した手法を提案する.手話単語データベースを用いた実験によって,MSD-HMMによるモデル化が機能していることを示し,単語認識実験によってその有効性を確認するとともに,今後の課題について述べる. |
(英) |
In sign language recognition system, there are two main methods for capturing hands movement from signers. The first one is generally called the motion capture method which uses special sensors (e.g. CyberGlove$^{\textregistered}$) capture the movement of the signer. The second one, which is called image-based approach relies on videos of signers to capture signs. In this paper, we adopt the second approach. While image-based approach has some advantages against sensor-based approach, it is difficult to overcome occlusion problems. Hidden Markov Model (HMM) have been widely used in sign language recognition. Also, in the field on speech recognition and speech synthesis, HMM have been used for acoustic modeling. In speech synthesis domain, Multi-space probability HMM (MSD-HMM) have been proposed as an extension of HMM that includes discrete and continuous HMM. We adopt MSD-HMM technique in order to overcome occlusion problems. This paper describes to use multi-space probability distribution (MSD) to model occluded hand positions jointly with visible hand positions. Experimental result obtained in Japanese sign language recognition indicate MSD provided almost equal to word recognition accuracy across conventional HMM method using interpolated trajectory of hand positions. |
キーワード |
(和) |
手話認識 / 隠れマルコフモデル / 多空間確率分布 / オクルージョン / / / / |
(英) |
Hidden Markov Model / Sign Language Recognition / Multi-space distribution / Occlusion / / / / |
文献情報 |
信学技報, vol. 109, no. 467, WIT2009-88, pp. 37-42, 2010年3月. |
資料番号 |
WIT2009-88 |
発行日 |
2010-03-05 (WIT) |
ISSN |
Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 |
著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) |
PDFダウンロード |
WIT2009-88 |