| 講演名 | 2014-03-14 実環境におけるマルチモーダル音声インターフェースの適用(一般セッション,パターン認識・メディア理解における組み合わせと統合,文化の振興と教育) 世古 拓海, 河崎 卓也, 田村 哲嗣, 速水 悟, |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 本稿では,音声と口唇動画像を用いるマルチモーダル音声認識を基にした「マルチモーダル音声インターフェース」のモバイル情報端末での実装を目指す.本インターフェースではサーバ・クライアントモデルを採用し,音声区間検出,特徴量抽出までをモバイル端末上で行い,サーバ上でマルチモーダル音声認識を実行する.またモバイル情報端末の多くは使用者が一人に限られることを利用し,モデル適応による認識精度向上を図る.試作したマルチモーダル音声インターフェースを用いた実験を行った.室内,屋外,乗用車内,駅などさまざまな実環境で,16名の話者から日本語連続数字発話時の音声・動画像を収集した.音声情報のみを用いた実験では,モデル適応による性能改善がみられた一方,周囲の雑音が大きい環境での課題が明らかとなった.画像情報のみを用いた実験では,音声認識結果とモデル適応技術を用いることで,識別性能が向上できることを確認した.また実験全体を通じて,音声区間検出や画像特徴,統合技術などに関する課題を明らかにした. |
| 抄録(英) | This paper proposes multi-modal speech interface for mobile devices such as smart phones, which is based on multi-modal speech recognition using speech waveforms and mouth image sequences. In our multi-modal speech interface, server-client model is employed; voice activity detection and feature extraction for every modalities are conducted on a mobile device, subsequently multi-modal speech recognition is performed on a recognition server. In addition, model adaptation technique is also utilized in our framework. Experiments were conducted using our multi-modal speech interface. Japanese connected-digit audio and visual data by 16 subjects were recorded in various real environments, e.g. office, outside, in-car, and station. In audio-only experiments, model adaptation improved recognition performance successfully in some conditions, on the other hand, some issues were found in heavily noisy conditions. In visual-only experiments, we have achieved performance improvement of lipreading by using speech recognition results and applying the model adaptation technique. We also investigate and discuss some issues about voice activity detection, visual features, and audio-visual integration. |
| キーワード(和) | マルチモーダル音声インターフェース / 音声認識 / 読唇 / モデル適応 / マルチモーダル音声認識 / 実環境 |
| キーワード(英) | multi-modal speech interface / speech recognition / lipreading / model adaptation / multi-modal speech recognition / real environment |
| 資料番号 | PRMU2013-199 |
| 発行日 |
| 研究会情報 | |
| 研究会 | PRMU |
|---|---|
| 開催期間 | 2014/3/6(から1日開催) |
| 開催地（和） | |
| 開催地（英） | |
| テーマ（和） | |
| テーマ（英） | |
| 委員長氏名（和） | |
| 委員長氏名（英） | |
| 副委員長氏名（和） | |
| 副委員長氏名（英） | |
| 幹事氏名（和） | |
| 幹事氏名（英） | |
| 幹事補佐氏名（和） | |
| 幹事補佐氏名（英） | |
| 講演論文情報詳細 | |
| 申込み研究会 | Pattern Recognition and Media Understanding (PRMU) |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 実環境におけるマルチモーダル音声インターフェースの適用(一般セッション,パターン認識・メディア理解における組み合わせと統合,文化の振興と教育) |
| サブタイトル（和） | |
| タイトル（英） | Application of multi-modal speech interface in real environments |
| サブタイトル（和） | |
| キーワード(1)（和/英） | マルチモーダル音声インターフェース / multi-modal speech interface |
| キーワード(2)（和/英） | 音声認識 / speech recognition |
| キーワード(3)（和/英） | 読唇 / lipreading |
| キーワード(4)（和/英） | モデル適応 / model adaptation |
| キーワード(5)（和/英） | マルチモーダル音声認識 / multi-modal speech recognition |
| キーワード(6)（和/英） | 実環境 / real environment |
| 第 1 著者 氏名（和/英） | 世古 拓海 / Takuni SEKO |
| 第 1 著者 所属（和/英） | 岐阜大学大学院工学研究科応用情報学専攻 Graduate school of Engineering, Gifu University |
| 第 2 著者 氏名（和/英） | 河崎 卓也 / Takuya KAWASAKI |
| 第 2 著者 所属（和/英） | 岐阜大学大学院工学研究科応用情報学専攻 Graduate school of Engineering, Gifu University |
| 第 3 著者 氏名（和/英） | 田村 哲嗣 / Satoshi TAMURA |
| 第 3 著者 所属（和/英） | 岐阜大学工学部電気電子・情報工学科 Faculty of Engineering, Gifu University |
| 第 4 著者 氏名（和/英） | 速水 悟 / Satoru HAYAMIZU |
| 第 4 著者 所属（和/英） | 岐阜大学工学部電気電子・情報工学科 Faculty of Engineering, Gifu University |
| 発表年月日 | 2014-03-14 |
| 資料番号 | PRMU2013-199 |
| 巻番号（vol） | vol.113 |
| 号番号（no） | 493 |
| ページ範囲 | pp.- |
| ページ数 | 6 |
| 発行日 | |