| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2015-07-16 16:20 低ランクDNNのための識別学習 ○太刀岡勇気（三菱電機）・渡部晋治・ルルー ジョナトン・ハーシー ジョン（MERL）  SP2015-39 |
|
| 抄録 | （和） | 深層神経回路網(DNN)音響モデルは従来のガウス混合モデル(GMM)を上回る性能を達成しているが，パラメータ数がGMMより多くなることにより，計算コストがGMMよりも増大する．DNNのモデルサイズを縮減するために，特異値分解(SVD)を用いた重み行列の低ランク近似が提案されている．従来の検討はクリーン音声のみであり，ノイズ環境下ではモデル縮減が難しくなる可能性がある．よってこのSVD手法の有効性を騒音残響下音声認識タスクで検証する．加えて，低ランク近似と系列の識別学習を併用する．系列の識別学習はフレーム毎の識別的基準により構築されたDNNの性能を向上させることが知られている．また低ランク近似と系列の識別学習の適用順の影響を調査した．実験により，低ランク近似は騒音下音声認識に有効であり，低ランク近似を先にモデルに適用し，その後に低ランクモデルに対して識別学習を行うと最も効果的であることが分かった．この低ランク識別学習モデルは，モデル縮減しないモデルを識別学習したモデルの性能を上回った． |
| （英） | Deep neural network (DNN) acoustic models outperform conventional Gaussian mixture model (GMM) but the number of parameters tends to be larger, leading to higher computational cost than those of GMM. To reduce the size of a DNN model, low-rank approximations of weight matrices, by using singular value decomposition (SVD), have previously been applied. Previous studies only focused on clean speech, whereas under noisy condition model reduction could be difficult. Thus we investigate the effectiveness of this SVD method on noisy reverberated speech recognition task. Furthermore, we combine the low-rank approximation with sequence discriminative training, which further improved the performance of the DNN, which was constructed using a frame-by-frame discriminative criterion. We also investigated the effect of the order of application of the low-rank and sequence discriminative training. Our experiments show that low rank approximation is effective for noisy speech recognition and the most effective combination of discriminative training with model reduction is to apply the low rank approximation to the base model first and then to perform discriminative training on the low-rank model. This low-rank discriminatively trained model outperformed the full discriminatively trained model. | |
| キーワード | （和） | 音声認識 / 深層神経回路網 / 特異値分解 / モデルサイズ縮減 / 識別学習 / / / |
| （英） | Automatic speech recognition / Deep neural networks / Singular value decomposition / Model size reduction / Discriminative training / / / | |
| 文献情報 | 信学技報, vol. 115, no. 146, SP2015-39, pp. 19-24, 2015年7月. | |
| 資料番号 | SP2015-39 | |
| 発行日 | 2015-07-09 (SP) | |
| ISSN | Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | SP2015-39 |
|
| 研究会情報 | |
| 研究会 | SP IPSJ-SLP |
| 開催期間 | 2015-07-16 - 2015-07-17 |
| 開催地（和） | かたくら諏訪湖ホテル |
| 開催地（英） | Katakura Suwako Hotel |
| テーマ（和） | 認識，理解，対話，一般 |
| テーマ（英） | Speech recognition and understanding, dialog system, etc. |
| 講演論文情報の詳細 | |
| 申込み研究会 | SP |
| 会議コード | 2015-07-SP-SLP |
| 本文の言語 | 日本語 |
| タイトル（和） | 低ランクDNNのための識別学習 |
| サブタイトル（和） | |
| タイトル（英） | Sequence Discriminative Training for Low-Rank Deep Neural Networks |
| サブタイトル（英） | |
| キーワード(1)（和/英） | 音声認識 / Automatic speech recognition |
| キーワード(2)（和/英） | 深層神経回路網 / Deep neural networks |
| キーワード(3)（和/英） | 特異値分解 / Singular value decomposition |
| キーワード(4)（和/英） | モデルサイズ縮減 / Model size reduction |
| キーワード(5)（和/英） | 識別学習 / Discriminative training |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 太刀岡 勇気 / Yuuki Tachioka / タチオカ ユウキ |
| 第1著者 所属（和/英） | 三菱電機株式会社 (略称： 三菱電機) Mitsubishi Electric Corporation (略称： Mitsubishi Electric) |
| 第2著者 氏名（和/英/ヨミ） | 渡部 晋治 / Shinji Watanabe / ワタナベ シンジ |
| 第2著者 所属（和/英） | Mitsubishi Electric Research Laboratories (略称： MERL) Mitsubishi Electric Research Laboratories (略称： MERL) |
| 第3著者 氏名（和/英/ヨミ） | ルルー ジョナトン / Jonathan Le Roux / ルルー ジョナトン |
| 第3著者 所属（和/英） | Mitsubishi Electric Research Laboratories (略称： MERL) Mitsubishi Electric Research Laboratories (略称： MERL) |
| 第4著者 氏名（和/英/ヨミ） | ハーシー ジョン / John Hershey / ハーシー ジョン |
| 第4著者 所属（和/英） | Mitsubishi Electric Research Laboratories (略称： MERL) Mitsubishi Electric Research Laboratories (略称： MERL) |
| 第5著者 氏名（和/英/ヨミ） | / / |
| 第5著者 所属（和/英） | (略称： ) (略称： ) |
| 第6著者 氏名（和/英/ヨミ） | / / |
| 第6著者 所属（和/英） | (略称： ) (略称： ) |
| 第7著者 氏名（和/英/ヨミ） | / / |
| 第7著者 所属（和/英） | (略称： ) (略称： ) |
| 第8著者 氏名（和/英/ヨミ） | / / |
| 第8著者 所属（和/英） | (略称： ) (略称： ) |
| 第9著者 氏名（和/英/ヨミ） | / / |
| 第9著者 所属（和/英） | (略称： ) (略称： ) |
| 第10著者 氏名（和/英/ヨミ） | / / |
| 第10著者 所属（和/英） | (略称： ) (略称： ) |
| 第11著者 氏名（和/英/ヨミ） | / / |
| 第11著者 所属（和/英） | (略称： ) (略称： ) |
| 第12著者 氏名（和/英/ヨミ） | / / |
| 第12著者 所属（和/英） | (略称： ) (略称： ) |
| 第13著者 氏名（和/英/ヨミ） | / / |
| 第13著者 所属（和/英） | (略称： ) (略称： ) |
| 第14著者 氏名（和/英/ヨミ） | / / |
| 第14著者 所属（和/英） | (略称： ) (略称： ) |
| 第15著者 氏名（和/英/ヨミ） | / / |
| 第15著者 所属（和/英） | (略称： ) (略称： ) |
| 第16著者 氏名（和/英/ヨミ） | / / |
| 第16著者 所属（和/英） | (略称： ) (略称： ) |
| 第17著者 氏名（和/英/ヨミ） | / / |
| 第17著者 所属（和/英） | (略称： ) (略称： ) |
| 第18著者 氏名（和/英/ヨミ） | / / |
| 第18著者 所属（和/英） | (略称： ) (略称： ) |
| 講演者 | 第1著者 |
| 発表日時 | 2015-07-16 16:20:00 |
| 発表時間 | 30分 |
| 申込先研究会 | SP |
| 資料番号 | SP2015-39 |
| 巻番号（vol） | vol.115 |
| 号番号（no） | no.146 |
| ページ範囲 | pp.19-24 |
| ページ数 | 6 |
| 発行日 | 2015-07-09 (SP) |
[研究会発表申込システムのトップページに戻る]