| No | 214123 |
|---|---|
| 標題（和） | 横顔の発話シーンを用いた口形コード法に基づく単語読唇 |
| 標題（英） | Word lip reading from scenes of speaker\'s utterance profile based on mouth-shape-code approach |
| 研究会名（和） | 回路とシステム, 通信方式, 信号処理 |
| 研究会名（英） | Circuits and Systems, Communication Systems, Signal Processing |
| 開催年月日 | 2012-03-08 |
| 終了年月日 | 2012-03-09 |
| 会議種別コード | 5 |
| 共催団体名（和） | |
| 資料番号 | CAS2011-112, SIP2011-132, CS2011-104 |
| 抄録（和） | 本研究では、読唇手法のひとつである口形コード法を発話者の横顔の発話シーンから得られた形状特徴量時系列に適用し、従来の母音キーフレームに追加して子音キーフレームの自動検出法を提案する．上下唇の距離と下唇突起長の差分値である横顔形状特徴量の時間的変化より子音キーフレームを検出することで、従来の母音のみによる口形コード時系列推移表現を拡張する．キーフレームの口形認識は、上唇高さ,下唇高さ,上唇突起長,下唇突起長,口唇角度の５特徴量を用いて行う．これより得られる単語コード列と候補単語のコード列に対して、DPマッチングを行い、最近傍となる候補単語を発話単語として推定する．常用27単語と類似単語10ペアの認識対象単語群を用いて２つの認識実験を行った結果、それぞれ 90.4%, 86.7% の高い認識率を得た． |
| 抄録（英） | In this paper, we apply mouth-shape-approach to Japanese speaker’s utterance profile for lip reading.The novel point is to propose automatic detection of consonant-key-frames. To detect the consonant-key-frames by time series of profile feature vector which is defined the difference value of distance of lips and projection length of lower lip. This approach provides an extension of mouth-shape-code time series. The mouth-shape recognition of key-frames is conducted by five profile shape features; the height of upper lip and lower lip, the projection length of upper and lower lip points, and the angle of lips. We apply DP-matching to the recognized word code string of key-frames and a candidate word code string, then search the nearest word as the result. Recognition experiments using two sets of target 27 words commonly used in dairy conversation, and adding 10 pairs of similar words to them are conducted. The proposed method attained 90.4%, and 86.7% for these word set respectively． |
| 収録資料名（和） | 電子情報通信学会技術研究報告 |
| 収録資料の巻号 | Vol.111, No.465,466,467 |
| ページ開始 | 31 |
| ページ終了 | 36 |
| キーワード（和） | 単語読唇,口形コード法,キーフレーム検出,横顔,画像処理 |
| キーワード（英） | lip reading,mouth-shape-code,key-frame,profile,image processing |
| 本文の言語 | JPN |
| 著者（和） | 沖田慎介 |
| 著者（ヨミ） | オキタ シンスケ |
| 著者（英） | Shinsuke Okita |
| 所属機関（和） | 慶應義塾大学 |
| 所属機関（英） | Keio University |
| 著者（和） | 佐藤優輝 |
| 著者（ヨミ） | サトウ ユウキ |
| 著者（英） | Yuki Sato |
| 所属機関（和） | 慶應義塾大学 |
| 所属機関（英） | Keio University |
| 著者（和） | 菅田雄希 |
| 著者（ヨミ） | スガタ ユウキ |
| 著者（英） | Yuki Sugata |
| 所属機関（和） | 慶應義塾大学 |
| 所属機関（英） | Keio University |
| 著者（和） | 田阪琢朗 |
| 著者（ヨミ） | タサカ タクロウ |
| 著者（英） | Takuro Tasaka |
| 所属機関（和） | 慶應義塾大学 |
| 所属機関（英） | Keio University |
| 著者（和） | 浜田望 |
| 著者（ヨミ） | ハマダ ノゾム |
| 著者（英） | Nozomu Hamada |
| 所属機関（和） | 慶應義塾大学 |
| 所属機関（英） | Keio University |