講演抄録/キーワード |
講演名 |
2012-03-08 12:45
横顔の発話シーンを用いた口形コード法に基づく単語読唇 ○沖田慎介・佐藤優輝・菅田雄希・田阪琢朗・浜田 望(慶大) CAS2011-112 SIP2011-132 CS2011-104 |
抄録 |
(和) |
本研究では、読唇手法のひとつである口形コード法を発話者の横顔の発話シーンから得られた形状特徴量時系列に適用し、従来の母音キーフレームに追加して子音キーフレームの自動検出法を提案する.上下唇の距離と下唇突起長の差分値である横顔形状特徴量の時間的変化より子音キーフレームを検出することで、従来の母音のみによる口形コード時系列推移表現を拡張する.キーフレームの口形認識は、上唇高さ,下唇高さ,上唇突起長,下唇突起長,口唇角度の5特徴量を用いて行う.これより得られる単語コード列と候補単語のコード列に対して、DPマッチングを行い、最近傍となる候補単語を発話単語として推定する.常用27単語と類似単語10ペアの認識対象単語群を用いて2つの認識実験を行った結果、それぞれ 90.4%, 86.7% の高い認識率を得た. |
(英) |
In this paper, we apply mouth-shape-approach to Japanese speaker’s utterance profile for lip reading.The novel point is to propose automatic detection of consonant-key-frames. To detect the consonant-key-frames by time series of profile feature vector which is defined the difference value of distance of lips and projection length of lower lip. This approach provides an extension of mouth-shape-code time series. The mouth-shape recognition of key-frames is conducted by five profile shape features; the height of upper lip and lower lip, the projection length of upper and lower lip points, and the angle of lips. We apply DP-matching to the recognized word code string of key-frames and a candidate word code string, then search the nearest word as the result. Recognition experiments using two sets of target 27 words commonly used in dairy conversation, and adding 10 pairs of similar words to them are conducted. The proposed method attained 90.4%, and 86.7% for these word set respectively. |
キーワード |
(和) |
単語読唇 / 口形コード法 / キーフレーム検出 / 横顔 / 画像処理 / / / |
(英) |
lip reading / mouth-shape-code / key-frame / profile / image processing / / / |
文献情報 |
信学技報, vol. 111, no. 466, SIP2011-132, pp. 31-36, 2012年3月. |
資料番号 |
SIP2011-132 |
発行日 |
2012-03-01 (CAS, SIP, CS) |
ISSN |
Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 |
著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) |
PDFダウンロード |
CAS2011-112 SIP2011-132 CS2011-104 |
|