電子情報通信学会 研究会発表申込システム
講演論文 詳細
技報閲覧サービス
技報オンライン
‥‥ (ESS/通ソ/エレソ/ISS)
技報アーカイブ
‥‥ (エレソ/通ソ)
 トップに戻る 前のページに戻る   [Japanese] / [English] 

講演抄録/キーワード
講演名 2019-06-18 14:20
ResNetとbatch-normalizationによるデータ分離能力の向上
古庄泰隆池田和司奈良先端大
技報オンラインサービス実施中
抄録 (和) ResNetのショートカットとbatch-normalization(BN)は膨大な数の層を持つディープニューラルネットワーク(DNN)の学習を可能にする.しかしながらその理由は未だ明らかではない.DNNの性能は最後の隠れ層の特徴ベクトルのクラス間距離とクラス内距離の比率が大きいほど高くなる.そこで本研究では重みがランダムな多層パーセプトロン(MLP), ResNet, BNを適用したResNetの層を経る毎の上記の距離の変化について解析し次の結果を示した.MLPは特にクラス間距離を減少し距離の比率を悪化させてしまう問題点がある.一方でショートカットとBNがこの問題点を緩和し距離の比率を改善する.またMLPは特徴ベクトル間の角度が層の数に対して指数的に減少するが,ショートカットを加えることで劣指数的な減少へ抑えられ,更にBNを加えることで逆数的な減少へと抑えられる.
これに加えて我々は学習による距離の変化についても解析し,初期化時点で入力ベクトル間の角度を高い層でも保持する性質が学習後のDNNでの距離の比率を向上することを示した.つまりショートカットとBNは学習後のDNNの距離の比率も改善する.数値実験も上記の理論的結果と一致することを確認した. 
(英) The skip-connection and the batch-normalization (BN) in ResNet enable an extreme deep neural network to be trained with high performance. However, the reasons for its high performance are still unclear.
A large ratio of the between-class distance to the within-class distance of feature vectors at the last hidden layer induces a high performance. Thus, we analyzed the change of these distances through hidden layers of the randomly initialized multilayer perceptron (MLP), the ResNet, and the ResNet with BN.
Our results show that the MLP strongly decreases the between-class distance compared with the within-class distance and that the skip-connection and the BN relax this decrease of the between-class angle and improve the ratio of the distances. Moreover, the skip-connection and the BN relax the exponential decrease of the angle into the reciprocal decrease. We also analyzed the effects of training on the distances and show that the preservation of the angle through layers at initialization encourages trained neural networks to increase the ratio of the distances. Therefore, the skip-connection and the BN in the ResNet induce a high performance.
キーワード (和) ディープニューラルネットワーク / ResNet / ショートカット / Batch-normalization / / / /  
(英) Deep neural network / ResNet / Skip-connection / Batch-normalization / / / /  
文献情報 信学技報, vol. 119, no. 89, IBISML2019-16, pp. 103-108, 2019年6月.
資料番号 IBISML2019-16 
発行日 2019-06-10 (NC, IBISML) 
ISSN Print edition: ISSN 0913-5685  Online edition: ISSN 2432-6380

研究会情報
研究会 NC IBISML IPSJ-MPS IPSJ-BIO  
開催期間 2019-06-17 - 2019-06-19 
開催地(和) 沖縄科学技術大学院大学 
開催地(英) Okinawa Institute of Science and Technology 
テーマ(和) NC、機械学習によるバイオデータマイニング、一般 
テーマ(英) Neurocomputing, Machine Learning Approach to Biodata Mining, and General 
講演論文情報の詳細
申込み研究会 IBISML 
会議コード 2019-06-NC-IBISML-MPS-BIO 
本文の言語 日本語 
タイトル(和) ResNetとbatch-normalizationによるデータ分離能力の向上 
サブタイトル(和)  
タイトル(英) ResNet and Batch-normalization Improve Data Separation Ability 
サブタイトル(英)  
キーワード(1)(和/英) ディープニューラルネットワーク / Deep neural network  
キーワード(2)(和/英) ResNet / ResNet  
キーワード(3)(和/英) ショートカット / Skip-connection  
キーワード(4)(和/英) Batch-normalization / Batch-normalization  
キーワード(5)(和/英) /  
キーワード(6)(和/英) /  
キーワード(7)(和/英) /  
キーワード(8)(和/英) /  
第1著者 氏名(和/英/ヨミ) 古庄 泰隆 / Yasutaka Furusho / フルショウ ヤスタカ
第1著者 所属(和/英) 奈良先端科学技術大学院大学 (略称: 奈良先端大)
Nara Institute of Science and Technology (略称: NAIST)
第2著者 氏名(和/英/ヨミ) 池田 和司 / Kazushi Ikeda / イケダ カズシ
第2著者 所属(和/英) 奈良先端科学技術大学院大学 (略称: 奈良先端大)
Nara Institute of Science and Technology (略称: NAIST)
第3著者 氏名(和/英/ヨミ) / /
第3著者 所属(和/英) (略称: )
(略称: )
第4著者 氏名(和/英/ヨミ) / /
第4著者 所属(和/英) (略称: )
(略称: )
第5著者 氏名(和/英/ヨミ) / /
第5著者 所属(和/英) (略称: )
(略称: )
第6著者 氏名(和/英/ヨミ) / /
第6著者 所属(和/英) (略称: )
(略称: )
第7著者 氏名(和/英/ヨミ) / /
第7著者 所属(和/英) (略称: )
(略称: )
第8著者 氏名(和/英/ヨミ) / /
第8著者 所属(和/英) (略称: )
(略称: )
第9著者 氏名(和/英/ヨミ) / /
第9著者 所属(和/英) (略称: )
(略称: )
第10著者 氏名(和/英/ヨミ) / /
第10著者 所属(和/英) (略称: )
(略称: )
第11著者 氏名(和/英/ヨミ) / /
第11著者 所属(和/英) (略称: )
(略称: )
第12著者 氏名(和/英/ヨミ) / /
第12著者 所属(和/英) (略称: )
(略称: )
第13著者 氏名(和/英/ヨミ) / /
第13著者 所属(和/英) (略称: )
(略称: )
第14著者 氏名(和/英/ヨミ) / /
第14著者 所属(和/英) (略称: )
(略称: )
第15著者 氏名(和/英/ヨミ) / /
第15著者 所属(和/英) (略称: )
(略称: )
第16著者 氏名(和/英/ヨミ) / /
第16著者 所属(和/英) (略称: )
(略称: )
第17著者 氏名(和/英/ヨミ) / /
第17著者 所属(和/英) (略称: )
(略称: )
第18著者 氏名(和/英/ヨミ) / /
第18著者 所属(和/英) (略称: )
(略称: )
第19著者 氏名(和/英/ヨミ) / /
第19著者 所属(和/英) (略称: )
(略称: )
第20著者 氏名(和/英/ヨミ) / /
第20著者 所属(和/英) (略称: )
(略称: )
講演者
発表日時 2019-06-18 14:20:00 
発表時間 25 
申込先研究会 IBISML 
資料番号 IEICE-NC2019-18,IEICE-IBISML2019-16 
巻番号(vol) IEICE-119 
号番号(no) no.88(NC), no.89(IBISML) 
ページ範囲 pp.81-86(NC), pp.103-108(IBISML) 
ページ数 IEICE-6 
発行日 IEICE-NC-2019-06-10,IEICE-IBISML-2019-06-10 


[研究会発表申込システムのトップページに戻る]

[電子情報通信学会ホームページ]


IEICE / 電子情報通信学会