| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2014-03-14 11:15 実環境におけるマルチモーダル音声インターフェースの適用 ○世古拓海・河﨑卓也・田村哲嗣・速水 悟（岐阜大）  PRMU2013-199 |
|
| 抄録 | （和） | 本稿では，音声と口唇動画像を用いるマルチモーダル音声認識を基にした「マルチモーダル音声インターフェース」のモバイル情報端末での実装を目指す．本インターフェースではサーバ・クライアントモデルを採用し，音声区間検出，特徴量抽出までをモバイル端末上で行い，サーバ上でマルチモーダル音声認識を実行する．またモバイル情報端末の多くは使用者が一人に限られることを利用し，モデル適応による認識精度向上を図る．試作したマルチモーダル音声インターフェースを用いた実験を行った．室内，屋外，乗用車内，駅などさまざまな実環境で，16名の話者から日本語連続数字発話時の音声・動画像を収集した．音声情報のみを用いた実験では，モデル適応による性能改善がみられた一方，周囲の雑音が大きい環境での課題が明らかとなった．画像情報のみを用いた実験では，音声認識結果とモデル適応技術を用いることで，識別性能が向上できることを確認した．また実験全体を通じて，音声区間検出や画像特徴，統合技術などに関する課題を明らかにした． |
| （英） | This paper proposes multi-modal speech interface for mobile devices such as smart phones, which is based on multi-modal speech recognition using speech waveforms and mouth image sequences. In our multi-modal speech interface, server-client model is employed; voice activity detection and feature extraction for every modalities are conducted on a mobile device, subsequently multi-modal speech recognition is performed on a recognition server. In addition, model adaptation technique is also utilized in our framework. Experiments were conducted using our multi-modal speech interface. Japanese connected-digit audio and visual data by 16 subjects were recorded in various real environments, e.g. office, outside, in-car, and station. In audio-only experiments, model adaptation improved recognition performance successfully in some conditions, on the other hand, some issues were found in heavily noisy conditions. In visual-only experiments, we have achieved performance improvement of lipreading by using speech recognition results and applying the model adaptation technique. We also investigate and discuss some issues about voice activity detection, visual features, and audio-visual integration. | |
| キーワード | （和） | マルチモーダル音声インターフェース / 音声認識 / 読唇 / モデル適応 / マルチモーダル音声認識 / 実環境 / / |
| （英） | multi-modal speech interface / speech recognition / lipreading / model adaptation / multi-modal speech recognition / real environment / / | |
| 文献情報 | 信学技報, vol. 113, no. 493, PRMU2013-199, pp. 185-190, 2014年3月. | |
| 資料番号 | PRMU2013-199 | |
| 発行日 | 2014-03-06 (PRMU) | |
| ISSN | Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | PRMU2013-199 |
|
| 研究会情報 | |
| 研究会 | PRMU |
| 開催期間 | 2014-03-13 - 2014-03-14 |
| 開催地（和） | 早稲田大学 |
| 開催地（英） | |
| テーマ（和） | パターン認識・メディア理解における組み合わせと統合，文化の振興と教育 |
| テーマ（英） | |
| 講演論文情報の詳細 | |
| 申込み研究会 | PRMU |
| 会議コード | 2014-03-PRMU |
| 本文の言語 | 日本語 |
| タイトル（和） | 実環境におけるマルチモーダル音声インターフェースの適用 |
| サブタイトル（和） | |
| タイトル（英） | Application of multi-modal speech interface in real environments |
| サブタイトル（英） | |
| キーワード(1)（和/英） | マルチモーダル音声インターフェース / multi-modal speech interface |
| キーワード(2)（和/英） | 音声認識 / speech recognition |
| キーワード(3)（和/英） | 読唇 / lipreading |
| キーワード(4)（和/英） | モデル適応 / model adaptation |
| キーワード(5)（和/英） | マルチモーダル音声認識 / multi-modal speech recognition |
| キーワード(6)（和/英） | 実環境 / real environment |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 世古 拓海 / Takumi Seko / セコ タクミ |
| 第1著者 所属（和/英） | 岐阜大学 (略称： 岐阜大) Gifu University (略称： Gifu Univ.) |
| 第2著者 氏名（和/英/ヨミ） | 河﨑 卓也 / Takuya Kawasaki / カワサキ タクヤ |
| 第2著者 所属（和/英） | 岐阜大学 (略称： 岐阜大) Gifu University (略称： Gifu Univ.) |
| 第3著者 氏名（和/英/ヨミ） | 田村 哲嗣 / Satoshi Tamura / タムラ サトシ |
| 第3著者 所属（和/英） | 岐阜大学 (略称： 岐阜大) Gifu University (略称： Gifu Univ.) |
| 第4著者 氏名（和/英/ヨミ） | 速水 悟 / Satoru Hayamizu / ハヤミズ サトル |
| 第4著者 所属（和/英） | 岐阜大学 (略称： 岐阜大) Gifu University (略称： Gifu Univ.) |
| 第5著者 氏名（和/英/ヨミ） | / / |
| 第5著者 所属（和/英） | (略称： ) (略称： ) |
| 第6著者 氏名（和/英/ヨミ） | / / |
| 第6著者 所属（和/英） | (略称： ) (略称： ) |
| 第7著者 氏名（和/英/ヨミ） | / / |
| 第7著者 所属（和/英） | (略称： ) (略称： ) |
| 第8著者 氏名（和/英/ヨミ） | / / |
| 第8著者 所属（和/英） | (略称： ) (略称： ) |
| 第9著者 氏名（和/英/ヨミ） | / / |
| 第9著者 所属（和/英） | (略称： ) (略称： ) |
| 第10著者 氏名（和/英/ヨミ） | / / |
| 第10著者 所属（和/英） | (略称： ) (略称： ) |
| 第11著者 氏名（和/英/ヨミ） | / / |
| 第11著者 所属（和/英） | (略称： ) (略称： ) |
| 第12著者 氏名（和/英/ヨミ） | / / |
| 第12著者 所属（和/英） | (略称： ) (略称： ) |
| 第13著者 氏名（和/英/ヨミ） | / / |
| 第13著者 所属（和/英） | (略称： ) (略称： ) |
| 第14著者 氏名（和/英/ヨミ） | / / |
| 第14著者 所属（和/英） | (略称： ) (略称： ) |
| 第15著者 氏名（和/英/ヨミ） | / / |
| 第15著者 所属（和/英） | (略称： ) (略称： ) |
| 第16著者 氏名（和/英/ヨミ） | / / |
| 第16著者 所属（和/英） | (略称： ) (略称： ) |
| 第17著者 氏名（和/英/ヨミ） | / / |
| 第17著者 所属（和/英） | (略称： ) (略称： ) |
| 第18著者 氏名（和/英/ヨミ） | / / |
| 第18著者 所属（和/英） | (略称： ) (略称： ) |
| 講演者 | 第1著者 |
| 発表日時 | 2014-03-14 11:15:00 |
| 発表時間 | 30分 |
| 申込先研究会 | PRMU |
| 資料番号 | PRMU2013-199 |
| 巻番号（vol） | vol.113 |
| 号番号（no） | no.493 |
| ページ範囲 | pp.185-190 |
| ページ数 | 6 |
| 発行日 | 2014-03-06 (PRMU) |
[研究会発表申込システムのトップページに戻る]