電子情報通信学会 研究会発表申込システム
講演論文 詳細
技報閲覧サービス
技報オンライン
‥‥ (ESS/通ソ/エレソ/ISS)
技報アーカイブ
‥‥ (エレソ/通ソ)
 トップに戻る 前のページに戻る   [Japanese] / [English] 

講演抄録/キーワード
講演名 2018-07-26 17:15
異なる決定木に基づくニューラルネットワーク音響モデルからの知識蒸留
福田 隆日本IBM)・サミュエル トーマスIBMSP2018-20
抄録 (和) 本報告では,ニューラルネットワーク音響モデルの知識蒸留において,異なる決定木を持つ教師ネットワークからの蒸留を行う方法を提案する.教師モデルには,生徒ネットワークと異なる出力層を持つものの認識精度が高いLSTMやVGGを採用し,そこから効果的に知識を蒸留することを目的とする.提案法は,(1)教師と生徒ネットワークの出力層に紐づけられたそれぞれの音素決定木を用いて学習データのアライメントを抽出し,(2)音素間(ノード間)を変換するための混同行列を求めて,教師・生徒間の音素コンテキストの対応関係を決定する.実験では,異なる決定木を持つ教師ネットワークが,生徒ニューラルネットワークの性能改善に貢献することを述べる.Aurora 4を用いた雑音環境下音声認識実験において,ハードラベルのみを用いたニューラル音響モデルの構築と比較して,相対的に9.6%の改善が得られたことを報告する. 
(英) This paper proposes a method to transfer acoustic knowledge from teacher network with a different decision tree to a student network. The teacher model has different output layer from the student network but has high recognition performance. In the proposed method, (1) phone alignments are generated from each phoneme context dependent decision tree, which relates to the output layer of the network, and (2) create a confusion matrix representing a relationship of phoneme contexts between teacher's and student's output nodes. In the experiments, we show that the proposed method contributes to the improvement of student network and report that 9.6% relative improvement was obtained by the proposed method over the acoustic model constructed only with hard labels on noisy environment speech recognition task with Aurora 4.
キーワード (和) 音声認識 / 音響モデル / 知識蒸留 / 決定木 / 音素マッピング / / /  
(英) Speech recognition / acoustic model / knowledge distillation / decision tree / phone mapping / / /  
文献情報 信学技報, vol. 118, no. 160, SP2018-20, pp. 21-24, 2018年7月.
資料番号 SP2018-20 
発行日 2018-07-19 (SP) 
ISSN Print edition: ISSN 0913-5685  Online edition: ISSN 2432-6380
著作権に
ついて
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034)
PDFダウンロード SP2018-20

研究会情報
研究会 SP IPSJ-SLP  
開催期間 2018-07-26 - 2018-07-27 
開催地(和) 舘山寺サゴーロイヤルホテル 
開催地(英) Sago-Royal-Hotel (Hamamatsu) 
テーマ(和) 認識,理解,対話,一般 
テーマ(英) Speech recognition and understanding, dialog system, etc. 
講演論文情報の詳細
申込み研究会 SP 
会議コード 2018-07-SP-SLP 
本文の言語 日本語 
タイトル(和) 異なる決定木に基づくニューラルネットワーク音響モデルからの知識蒸留 
サブタイトル(和)  
タイトル(英) Knowledge Distillation from Neural Network Based Acoustic Model based on Different Decision Tree 
サブタイトル(英)  
キーワード(1)(和/英) 音声認識 / Speech recognition  
キーワード(2)(和/英) 音響モデル / acoustic model  
キーワード(3)(和/英) 知識蒸留 / knowledge distillation  
キーワード(4)(和/英) 決定木 / decision tree  
キーワード(5)(和/英) 音素マッピング / phone mapping  
キーワード(6)(和/英) /  
キーワード(7)(和/英) /  
キーワード(8)(和/英) /  
第1著者 氏名(和/英/ヨミ) 福田 隆 / Takashi Fukuda / フクダ タカシ
第1著者 所属(和/英) 日本IBM株式会社 (略称: 日本IBM)
IBM Japan (略称: IBM)
第2著者 氏名(和/英/ヨミ) サミュエル トーマス / Samuel Thomas / サミュエル トーマス
第2著者 所属(和/英) IBMワトソン・リサーチ・センター (略称: IBM)
IBM T. J. Watson Research Center (略称: IBM)
第3著者 氏名(和/英/ヨミ) / /
第3著者 所属(和/英) (略称: )
(略称: )
第4著者 氏名(和/英/ヨミ) / /
第4著者 所属(和/英) (略称: )
(略称: )
第5著者 氏名(和/英/ヨミ) / /
第5著者 所属(和/英) (略称: )
(略称: )
第6著者 氏名(和/英/ヨミ) / /
第6著者 所属(和/英) (略称: )
(略称: )
第7著者 氏名(和/英/ヨミ) / /
第7著者 所属(和/英) (略称: )
(略称: )
第8著者 氏名(和/英/ヨミ) / /
第8著者 所属(和/英) (略称: )
(略称: )
第9著者 氏名(和/英/ヨミ) / /
第9著者 所属(和/英) (略称: )
(略称: )
第10著者 氏名(和/英/ヨミ) / /
第10著者 所属(和/英) (略称: )
(略称: )
第11著者 氏名(和/英/ヨミ) / /
第11著者 所属(和/英) (略称: )
(略称: )
第12著者 氏名(和/英/ヨミ) / /
第12著者 所属(和/英) (略称: )
(略称: )
第13著者 氏名(和/英/ヨミ) / /
第13著者 所属(和/英) (略称: )
(略称: )
第14著者 氏名(和/英/ヨミ) / /
第14著者 所属(和/英) (略称: )
(略称: )
第15著者 氏名(和/英/ヨミ) / /
第15著者 所属(和/英) (略称: )
(略称: )
第16著者 氏名(和/英/ヨミ) / /
第16著者 所属(和/英) (略称: )
(略称: )
第17著者 氏名(和/英/ヨミ) / /
第17著者 所属(和/英) (略称: )
(略称: )
第18著者 氏名(和/英/ヨミ) / /
第18著者 所属(和/英) (略称: )
(略称: )
第19著者 氏名(和/英/ヨミ) / /
第19著者 所属(和/英) (略称: )
(略称: )
第20著者 氏名(和/英/ヨミ) / /
第20著者 所属(和/英) (略称: )
(略称: )
講演者
発表日時 2018-07-26 17:15:00 
発表時間 30 
申込先研究会 SP 
資料番号 IEICE-SP2018-20 
巻番号(vol) IEICE-118 
号番号(no) no.160 
ページ範囲 pp.21-24 
ページ数 IEICE-4 
発行日 IEICE-SP-2018-07-19 


[研究会発表申込システムのトップページに戻る]

[電子情報通信学会ホームページ]


IEICE / 電子情報通信学会