| 講演名 | 2007-05-31 対話システムへの利用を想定したマルチモーダル音声認識の検討 高山 俊輔, 松尾 俊秀, 岩野 公司, 古井 貞煕, |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 本研究では,マルチモーダル対話システムの構築を目指して,対話音声を対象とした,不特定話者マルチモーダル音声認識についての検討を行った.まず,男性話者25名による音声・動画像データベースを収集し,それを用いて認識システムの構築を行った.このシステムでは,マルチストリームHMMを用いて音響と画像情報を融合するが,この融合モデルの構築方法として,音響情報のみで学習したtriphone HMMの共有化構造を保存しながら,個別に学習された音響モデルと画像モデルを状態単位で融合する手法の提案を行った.評価実験の結果,様々な雑音条件で提案手法の有効性を確認した.また,用いる画像特微量について,オプティカルフローに基づく画像特徴量と主成分分析に基づく画像特徴量の比較を行った.その結果,オプティカルフローに基づく特徴量の方が良好な性能を示した. |
| 抄録(英) | This paper describes speaker-independent multimodal speech recognition toward constructing multimodal spoken dialogue systems. In order to build a multimodal speech recognition system, an audio-visual speech database was first collected from 25 male speakers. In our system, a multi-stream HMM technique is used for integrating audio and visual information. We propose a multi-stream HMM construction method where audio-only and visual-only models are separately trained and then integrated at the state level. In this framework, the state tying structure of the target audio-visual model is inherited from the audio-only triphone HMM. Experimental results show that the proposed method is effective in various noise conditions. We also compared two visual features, optical-flow-based features and PCA(Principal Component Analysis)-based features, in our recognition framework. The results show that the optical-flow-based features yield better performance than the PCA-based features. |
| キーワード(和) | マルチモーダル音声認識 / 対話音声 / 不特定話者 / マルチストリームHMM / モデル構築方法 |
| キーワード(英) | multimodal speech recognition / dialogue speech / speaker independent / multi-stream HMM / model construction method |
| 資料番号 | SP2007-4 |
| 発行日 |
| 研究会情報 | |
| 研究会 | SP |
|---|---|
| 開催期間 | 2007/5/24(から1日開催) |
| 開催地（和） | |
| 開催地（英） | |
| テーマ（和） | |
| テーマ（英） | |
| 委員長氏名（和） | |
| 委員長氏名（英） | |
| 副委員長氏名（和） | |
| 副委員長氏名（英） | |
| 幹事氏名（和） | |
| 幹事氏名（英） | |
| 幹事補佐氏名（和） | |
| 幹事補佐氏名（英） | |
| 講演論文情報詳細 | |
| 申込み研究会 | Speech (SP) |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 対話システムへの利用を想定したマルチモーダル音声認識の検討 |
| サブタイトル（和） | |
| タイトル（英） | A Study on Multimodal Speech Recognition for Spoken Dialogue Systems |
| サブタイトル（和） | |
| キーワード(1)（和/英） | マルチモーダル音声認識 / multimodal speech recognition |
| キーワード(2)（和/英） | 対話音声 / dialogue speech |
| キーワード(3)（和/英） | 不特定話者 / speaker independent |
| キーワード(4)（和/英） | マルチストリームHMM / multi-stream HMM |
| キーワード(5)（和/英） | モデル構築方法 / model construction method |
| 第 1 著者 氏名（和/英） | 高山 俊輔 / Shunsuke TAKAYAMA |
| 第 1 著者 所属（和/英） | 東京工業大学大学院情報理工学研究科計算工学専攻 Department of Computer Sience, Tokyo Institute of technology |
| 第 2 著者 氏名（和/英） | 松尾 俊秀 / Toshihide MATSUO |
| 第 2 著者 所属（和/英） | 東京工業大学大学院情報理工学研究科計算工学専攻 Department of Computer Sience, Tokyo Institute of technology |
| 第 3 著者 氏名（和/英） | 岩野 公司 / Koji IWANO |
| 第 3 著者 所属（和/英） | 東京工業大学大学院情報理工学研究科計算工学専攻 Department of Computer Sience, Tokyo Institute of technology |
| 第 4 著者 氏名（和/英） | 古井 貞煕 / Sadaoki FURUI |
| 第 4 著者 所属（和/英） | 東京工業大学大学院情報理工学研究科計算工学専攻 Department of Computer Sience, Tokyo Institute of technology |
| 発表年月日 | 2007-05-31 |
| 資料番号 | SP2007-4 |
| 巻番号（vol） | vol.107 |
| 号番号（no） | 77 |
| ページ範囲 | pp.- |
| ページ数 | 6 |
| 発行日 | |