| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2007-05-31 11:30 対話システムへの利用を想定したマルチモーダル音声認識の検討 高山俊輔・松尾俊秀・○岩野公司・古井貞煕（東工大）  SP2007-4 |
|
| 抄録 | （和） | 本研究では，マルチモーダル対話システムの構築を目指して，対話音声を対象とした，不特定話者マルチモーダル音声認識についての検討を行った．まず，男性話者 25 名による音声・動画像データベースを収集し，それを用いて認識システムの構築を行った．このシステムでは，マルチストリーム HMM を用いて音響と画像情報を融合するが，この融合モデルの構築方法として，音響情報のみで学習した triphone HMM の共有化構造を保存しながら，個別に学習された音響モデルと画像モデルを状態単位で融合する手法の提案を行った．評価実験の結果，様々な雑音条件で提案手法の有効性を確認した．また，用いる画像特徴量について，オプティカルフローに基づく画像特徴量と主成分分析に基づく画像特徴量の比較を行った．その結果，オプティカルフローに基づく特徴量の方が良好な性能を示した． |
| （英） | This paper describes speaker-independent multimodal speech recognition toward constructing multimodal spoken dialogue systems. In order to build a multimodal speech recognition system, an audio-visual speech database was first collected from 25 male speakers. In our system, a multi-stream HMM technique is used for integrating audio and visual information. We propose a multi-stream HMM construction method where audio-only and visual-only models are separately trained and then integrated at the state level. In this framework, the state tying structure of the target audio-visual model is inherited from the audio-only triphone HMM. Experimental results show that the proposed method is effective in various noise conditions. We also compared two visual features, optical-flow-based features and PCA(Principal Component Analysis)-based features, in our recognition framework. The results show that the optical-flow-based features yield better performance than the PCA-based features. | |
| キーワード | （和） | マルチモーダル音声認識 / 対話音声 / 不特定話者 / マルチストリームHMM / モデル構築方法 / / / |
| （英） | multimodal speech recognition / dialogue speech / speaker independent / multi-stream HMM / model construction method / / / | |
| 文献情報 | 信学技報, vol. 107, no. 77, SP2007-4, pp. 19-24, 2007年5月. | |
| 資料番号 | SP2007-4 | |
| 発行日 | 2007-05-24 (SP) | |
| ISSN | Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | SP2007-4 |
|
| 研究会情報 | |
| 研究会 | SP |
| 開催期間 | 2007-05-31 - 2007-05-31 |
| 開催地（和） | 国際電気通信基礎技術研究所 |
| 開催地（英） | ATR |
| テーマ（和） | 一般 |
| テーマ（英） | etc. |
| 講演論文情報の詳細 | |
| 申込み研究会 | SP |
| 会議コード | 2007-05-SP |
| 本文の言語 | 日本語 |
| タイトル（和） | 対話システムへの利用を想定したマルチモーダル音声認識の検討 |
| サブタイトル（和） | |
| タイトル（英） | A study on multimodal speech recognition for spoken dialogue systems |
| サブタイトル（英） | |
| キーワード(1)（和/英） | マルチモーダル音声認識 / multimodal speech recognition |
| キーワード(2)（和/英） | 対話音声 / dialogue speech |
| キーワード(3)（和/英） | 不特定話者 / speaker independent |
| キーワード(4)（和/英） | マルチストリームHMM / multi-stream HMM |
| キーワード(5)（和/英） | モデル構築方法 / model construction method |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 高山 俊輔 / Shunsuke Takayama / タカヤマ シュンスケ |
| 第1著者 所属（和/英） | 東京工業大学 (略称： 東工大) Tokyo Institute of Technology (略称： Tokyo Tech) |
| 第2著者 氏名（和/英/ヨミ） | 松尾 俊秀 / Toshihide Matsuo / マツオ トシヒデ |
| 第2著者 所属（和/英） | 東京工業大学 (略称： 東工大) Tokyo Institute of Technology (略称： Tokyo Tech) |
| 第3著者 氏名（和/英/ヨミ） | 岩野 公司 / Koji Iwano / イワノ コウジ |
| 第3著者 所属（和/英） | 東京工業大学 (略称： 東工大) Tokyo Institute of Technology (略称： Tokyo Tech) |
| 第4著者 氏名（和/英/ヨミ） | 古井 貞煕 / Sadaoki Furui / フルイ サダオキ |
| 第4著者 所属（和/英） | 東京工業大学 (略称： 東工大) Tokyo Institute of Technology (略称： Tokyo Tech) |
| 第5著者 氏名（和/英/ヨミ） | / / |
| 第5著者 所属（和/英） | (略称： ) (略称： ) |
| 第6著者 氏名（和/英/ヨミ） | / / |
| 第6著者 所属（和/英） | (略称： ) (略称： ) |
| 第7著者 氏名（和/英/ヨミ） | / / |
| 第7著者 所属（和/英） | (略称： ) (略称： ) |
| 第8著者 氏名（和/英/ヨミ） | / / |
| 第8著者 所属（和/英） | (略称： ) (略称： ) |
| 第9著者 氏名（和/英/ヨミ） | / / |
| 第9著者 所属（和/英） | (略称： ) (略称： ) |
| 第10著者 氏名（和/英/ヨミ） | / / |
| 第10著者 所属（和/英） | (略称： ) (略称： ) |
| 第11著者 氏名（和/英/ヨミ） | / / |
| 第11著者 所属（和/英） | (略称： ) (略称： ) |
| 第12著者 氏名（和/英/ヨミ） | / / |
| 第12著者 所属（和/英） | (略称： ) (略称： ) |
| 第13著者 氏名（和/英/ヨミ） | / / |
| 第13著者 所属（和/英） | (略称： ) (略称： ) |
| 第14著者 氏名（和/英/ヨミ） | / / |
| 第14著者 所属（和/英） | (略称： ) (略称： ) |
| 第15著者 氏名（和/英/ヨミ） | / / |
| 第15著者 所属（和/英） | (略称： ) (略称： ) |
| 第16著者 氏名（和/英/ヨミ） | / / |
| 第16著者 所属（和/英） | (略称： ) (略称： ) |
| 第17著者 氏名（和/英/ヨミ） | / / |
| 第17著者 所属（和/英） | (略称： ) (略称： ) |
| 第18著者 氏名（和/英/ヨミ） | / / |
| 第18著者 所属（和/英） | (略称： ) (略称： ) |
| 講演者 | 第3著者 |
| 発表日時 | 2007-05-31 11:30:00 |
| 発表時間 | 30分 |
| 申込先研究会 | SP |
| 資料番号 | SP2007-4 |
| 巻番号（vol） | vol.107 |
| 号番号（no） | no.77 |
| ページ範囲 | pp.19-24 |
| ページ数 | 6 |
| 発行日 | 2007-05-24 (SP) |
[研究会発表申込システムのトップページに戻る]