| 講演名 | 2019-06-18 ResNetとbatch-normalizationによるデータ分離能力の向上 古庄 泰隆(奈良先端大), 池田 和司(奈良先端大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | ResNetのショートカットとbatch-normalization(BN)は膨大な数の層を持つディープニューラルネットワーク(DNN)の学習を可能にする.しかしながらその理由は未だ明らかではない.DNNの性能は最後の隠れ層の特徴ベクトルのクラス間距離とクラス内距離の比率が大きいほど高くなる.そこで本研究では重みがランダムな多層パーセプトロン(MLP), ResNet, BNを適用したResNetの層を経る毎の上記の距離の変化について解析し次の結果を示した.MLPは特にクラス間距離を減少し距離の比率を悪化させてしまう問題点がある.一方でショートカットとBNがこの問題点を緩和し距離の比率を改善する.またMLPは特徴ベクトル間の角度が層の数に対して指数的に減少するが,ショートカットを加えることで劣指数的な減少へ抑えられ,更にBNを加えることで逆数的な減少へと抑えられる. これに加えて我々は学習による距離の変化についても解析し,初期化時点で入力ベクトル間の角度を高い層でも保持する性質が学習後のDNNでの距離の比率を向上することを示した.つまりショートカットとBNは学習後のDNNの距離の比率も改善する.数値実験も上記の理論的結果と一致することを確認した. |
| 抄録(英) | The skip-connection and the batch-normalization (BN) in ResNet enable an extreme deep neural network to be trained with high performance. However, the reasons for its high performance are still unclear. A large ratio of the between-class distance to the within-class distance of feature vectors at the last hidden layer induces a high performance. Thus, we analyzed the change of these distances through hidden layers of the randomly initialized multilayer perceptron (MLP), the ResNet, and the ResNet with BN. Our results show that the MLP strongly decreases the between-class distance compared with the within-class distance and that the skip-connection and the BN relax this decrease of the between-class angle and improve the ratio of the distances. Moreover, the skip-connection and the BN relax the exponential decrease of the angle into the reciprocal decrease. We also analyzed the effects of training on the distances and show that the preservation of the angle through layers at initialization encourages trained neural networks to increase the ratio of the distances. Therefore, the skip-connection and the BN in the ResNet induce a high performance. |
| キーワード(和) | ディープニューラルネットワーク / ResNet / ショートカット / Batch-normalization |
| キーワード(英) | Deep neural network / ResNet / Skip-connection / Batch-normalization |
| 資料番号 | NC2019-18,IBISML2019-16 |
| 発行日 | 2019-06-10 (NC, IBISML) |
| 研究会情報 | |
| 研究会 | NC / IBISML / IPSJ-MPS / IPSJ-BIO |
|---|---|
| 開催期間 | 2019/6/17(から3日開催) |
| 開催地（和） | 沖縄科学技術大学院大学 |
| 開催地（英） | Okinawa Institute of Science and Technology |
| テーマ（和） | NC、機械学習によるバイオデータマイニング、一般 |
| テーマ（英） | Neurocomputing, Machine Learning Approach to Biodata Mining, and General |
| 委員長氏名（和） | 庄野 逸(電通大) / 鹿島 久嗣(京大) / 関嶋 政和(東工大) / 倉田 博之(九工大) |
| 委員長氏名（英） | Hayaru Shouno(UEC) / Hisashi Kashima(Kyoto Univ.) / Masakazu Sekijima(Tokyo Tech) / Hiroyuki Kurata(Kyutech) |
| 副委員長氏名（和） | 鮫島 和行(玉川大) / 杉山 将(東大) / 津田 宏治(東大) |
| 副委員長氏名（英） | Kazuyuki Samejima(Tamagawa Univ) / Masashi Sugiyama(Univ. of Tokyo) / Koji Tsuda(Univ. of Tokyo) |
| 幹事氏名（和） | 吉本 潤一郎(奈良先端大) / 安部川 直稔(NTT) / 竹内 一郎(名工大) / 神嶌 敏弘(産総研) / 吉川 大弘(名古屋大) / 大久保 好章(北大) / 小谷野 仁(東工大) / 渡邉 真也(室蘭工業大) / 佐藤 寛之(電通大) / 高田 雅美(奈良女子大) / 田口 善弘(中央大) / 吉本 潤一郎(奈良先端大) / 伊藤 公人(北大) |
| 幹事氏名（英） | Junichiro Yoshimoto(NAIST) / Naotoshi Abekawa(NTT) / Ichiro Takeuchi(Nagoya Inst. of Tech.) / Toshihiro Kamishima(AIST) / Tomohiro Yoshikawa(Nagoya Univ.) / Yoshiaki Okubo(Hokkaido Univ.) / Hitoshi Koyano(Tokyo Tech) / Shinya Watanabe(Muroran Inst. Tech.) / Hiroyuki Sato(UEC) / Masami Takata(Nara Women's Univ.) / Yoshihiro Taguchi(Chuo Univ.) / Junichiro Yoshimoto(NAIST) / Kimihito Ito(Hokkaido Univ.) |
| 幹事補佐氏名（和） | 篠崎 隆志(NICT) / 瀧山 健(東京農工大) / 岩田 具治(NTT) / 大羽 成征(京大) |
| 幹事補佐氏名（英） | Takashi Shinozaki(NICT) / Ken Takiyama(TUAT) / Tomoharu Iwata(NTT) / Shigeyuki Oba(Kyoto Univ.) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Neurocomputing / Technical Committee on Infomation-Based Induction Sciences and Machine Learning / IPSJ Special Interest Group on Mathematical Modeling and Problem Solving / IPSJ Special Interest Group on Bioinformatics and Genomics |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | ResNetとbatch-normalizationによるデータ分離能力の向上 |
| サブタイトル（和） | |
| タイトル（英） | ResNet and Batch-normalization Improve Data Separation Ability |
| サブタイトル（和） | |
| キーワード(1)（和/英） | ディープニューラルネットワーク / Deep neural network |
| キーワード(2)（和/英） | ResNet / ResNet |
| キーワード(3)（和/英） | ショートカット / Skip-connection |
| キーワード(4)（和/英） | Batch-normalization / Batch-normalization |
| 第 1 著者 氏名（和/英） | 古庄 泰隆 / Yasutaka Furusho |
| 第 1 著者 所属（和/英） | 奈良先端科学技術大学院大学(略称：奈良先端大) Nara Institute of Science and Technology(略称：NAIST) |
| 第 2 著者 氏名（和/英） | 池田 和司 / Kazushi Ikeda |
| 第 2 著者 所属（和/英） | 奈良先端科学技術大学院大学(略称：奈良先端大) Nara Institute of Science and Technology(略称：NAIST) |
| 発表年月日 | 2019-06-18 |
| 資料番号 | NC2019-18,IBISML2019-16 |
| 巻番号（vol） | vol.119 |
| 号番号（no） | NC-88,IBISML-89 |
| ページ範囲 | pp.81-86(NC), pp.103-108(IBISML), |
| ページ数 | 6 |
| 発行日 | 2019-06-10 (NC, IBISML) |