| 講演名 | 2008/3/15 音声と口唇縦線画像を融合した発話区間検出法(HCGシンポジウム) 山口 哲司, 浜田 望, |
|---|---|
| PDFダウンロードページ | PDFダウンロードページへ |
| 抄録(和) | 発話区間検出(VAD)は音声認識技術におけるフロントエンド問題と位置づけられ,活発に研究されている.近年,雑音下においても発話区間を求めるため,音声情報に加え画像情報も用いるマルチモーダル処理をVADに関する研究がされている.本論文では,口唇縦線画像という画像特徴量を提案し,これと音声情報を融合した,高雑音下でも頑健なVAD手法を提案する.提案法は,まず口唇縦線画像を用い口唇動作区間を検出する.口唇縦線画像とは,話者の口唇中央を垂直に通過する線(口唇縦線)上の1次元画像を時間軸に沿って並べた時空間画像であり,口唇の縦方向の変化情報を内包しているため,そこから口唇の動作判断が可能となる.そして求めた口唇動作区間付近において,音声パワーとスペクトル情報を用いて区間内の発話音声の有無を確認し,発話の始点と終点を検出することにより最終的な発話区間を決定する.最後に評価実験において提案法の有効性を検証した.その結果,低SNR環境下においても提案法が有効性であることを確認した. |
| 抄録(英) | In this study, we propose a VAD estimation method under low signal to noise ratio environment by fusing audio and novel lip vertical line image. First, the proposed technique detects the interval where lips move by using lip vertical line image. Secondly, acoustic signal and its spectrum is used to detect an utterance voice interval. The final utterance interval is decided by combining these two intervals. Finally, the effectiveness of the proposal method is verified through experiments. |
| キーワード(和) | 発話区間検出 / マルチモーダル / 口唇縦線 / 口唇縦線画像 |
| キーワード(英) | Voice Activity Detection / VAD / Multimodal / Lip Vertical Line |
| 資料番号 | HIP2007-161 |
| 発行日 |
| 研究会情報 | |
| 研究会 | HIP |
|---|---|
| 開催期間 | 2008/3/15(から1日開催) |
| 開催地（和） | |
| 開催地（英） | |
| テーマ（和） | |
| テーマ（英） | |
| 委員長氏名（和） | |
| 委員長氏名（英） | |
| 副委員長氏名（和） | |
| 副委員長氏名（英） | |
| 幹事氏名（和） | |
| 幹事氏名（英） | |
| 幹事補佐氏名（和） | |
| 幹事補佐氏名（英） | |
| 講演論文情報詳細 | |
| 申込み研究会 | Human Information Processing (HIP) |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 音声と口唇縦線画像を融合した発話区間検出法(HCGシンポジウム) |
| サブタイトル（和） | |
| タイトル（英） | Voice Activity Interval Detection by Fusing Audio and Lip Vertical Line Image |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 発話区間検出 / Voice Activity Detection |
| キーワード(2)（和/英） | マルチモーダル / VAD |
| キーワード(3)（和/英） | 口唇縦線 / Multimodal |
| キーワード(4)（和/英） | 口唇縦線画像 / Lip Vertical Line |
| 第 1 著者 氏名（和/英） | 山口 哲司 / Tetsuji YAMAGUCHI |
| 第 1 著者 所属（和/英） | 慶應義塾大学理工学部 Signal Processing Lab. School of Integrated Design Engineering, Keio University |
| 第 2 著者 氏名（和/英） | 浜田 望 / Nozomu HAMADA |
| 第 2 著者 所属（和/英） | 慶應義塾大学理工学部 Signal Processing Lab. School of Integrated Design Engineering, Keio University |
| 発表年月日 | 2008/3/15 |
| 資料番号 | HIP2007-161 |
| 巻番号（vol） | vol.107 |
| 号番号（no） | 553 |
| ページ範囲 | pp.- |
| ページ数 | 6 |
| 発行日 | |