| 講演名 | 2014-11-21 プレトレーニングで得られるディープニューラルネットワークの学習初期値に関する考察(BCI/BMIとその周辺,一般) 品川 政太朗, 早川 吉弘, 小野美 武, 中島 康治, |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | ディープラーニングを行うニューラルネットを構成する代表的手法として、層ごとにRestricted Boltzmann Machine(RBM)やAuto Encoder(AE)を貧欲に学習するLayer-wise Pre-training(プレトレーニング)が提案されている。これによって得られた学習パラメータ(荷重値、バイアス)を階層型ニューラルネットワークの初期値とすることで、性能の高い多層ニューラルネットを学習できることが知られている。プレトレーニングがなぜ多層学習の良い初期値となるのかについては様々な議論があるが、本稿ではプレトレーニングで得られる学習パラメータの分布に注目し、プレトレーニングの意義について考察を行う。 |
| 抄録(英) | Greedy Layer-wise Pre-training (Pre-training) is known as a major method to construct Deep Neural Networks (DNN) with Deep Learning. Restricted Boltzmann Machine (RBM) or Auto-Encoder (AE) is frequently used for the Pre-training. After Pre-training,we can use the weights and the biases learned through Pre-training as initial values for DNN with high performance. The reason why Pre-training makes good initial values of DNN has been discussed at various viewpoints, but there is no ideas to the aspect of the relation between dispersion of initial values.In this study, we consider the dispersion of parameters generated through Pre-training. |
| キーワード(和) | ニューラルネットワーク / 階層型 / 深層学習 / 事前学習 / 制限付きボルツマンマシン / 分散 |
| キーワード(英) | Newral network / Hierarchical / Deep learning / Pre-training / Restricted Boltzmann Machine / Dispersion |
| 資料番号 | NC2014-27 |
| 発行日 |
| 研究会情報 | |
| 研究会 | NC |
|---|---|
| 開催期間 | 2014/11/14(から1日開催) |
| 開催地（和） | |
| 開催地（英） | |
| テーマ（和） | |
| テーマ（英） | |
| 委員長氏名（和） | |
| 委員長氏名（英） | |
| 副委員長氏名（和） | |
| 副委員長氏名（英） | |
| 幹事氏名（和） | |
| 幹事氏名（英） | |
| 幹事補佐氏名（和） | |
| 幹事補佐氏名（英） | |
| 講演論文情報詳細 | |
| 申込み研究会 | Neurocomputing (NC) |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | プレトレーニングで得られるディープニューラルネットワークの学習初期値に関する考察(BCI/BMIとその周辺,一般) |
| サブタイトル（和） | |
| タイトル（英） | The Relation between Dispersion of Initial Values and Pre-training of Deep Neural Networks |
| サブタイトル（和） | |
| キーワード(1)（和/英） | ニューラルネットワーク / Newral network |
| キーワード(2)（和/英） | 階層型 / Hierarchical |
| キーワード(3)（和/英） | 深層学習 / Deep learning |
| キーワード(4)（和/英） | 事前学習 / Pre-training |
| キーワード(5)（和/英） | 制限付きボルツマンマシン / Restricted Boltzmann Machine |
| キーワード(6)（和/英） | 分散 / Dispersion |
| 第 1 著者 氏名（和/英） | 品川 政太朗 / Sitaro SHINAGAWA |
| 第 1 著者 所属（和/英） | 東北大学電気通信研究所ブレインウェア実験施設:東北大学電気通信研究所ナノ・スピン実験施設 Laboratory for Brainware Research Institute of Electrical Communication, Tohoku University:Laboratory for Nanoelectoronics and Spintoronics Reserch Institute of Electorical Communication, Tohoku University First University |
| 第 2 著者 氏名（和/英） | 早川 吉弘 / Yoshihiro HAYAKAWA |
| 第 2 著者 所属（和/英） | 仙台高等専門学校 Sendai National College of Technology |
| 第 3 著者 氏名（和/英） | 小野美 武 / Takeshi ONOMI |
| 第 3 著者 所属（和/英） | 東北大学電気通信研究所ブレインウェア実験施設:東北大学電気通信研究所ナノ・スピン実験施設 Laboratory for Brainware Research Institute of Electrical Communication, Tohoku University:Laboratory for Nanoelectoronics and Spintoronics Reserch Institute of Electorical Communication, Tohoku University First University |
| 第 4 著者 氏名（和/英） | 中島 康治 / Koji NAKAJIMA |
| 第 4 著者 所属（和/英） | 東北大学電気通信研究所ブレインウェア実験施設:東北大学電気通信研究所ナノ・スピン実験施設 Laboratory for Brainware Research Institute of Electrical Communication, Tohoku University:Laboratory for Nanoelectoronics and Spintoronics Reserch Institute of Electorical Communication, Tohoku University First University |
| 発表年月日 | 2014-11-21 |
| 資料番号 | NC2014-27 |
| 巻番号（vol） | vol.114 |
| 号番号（no） | 326 |
| ページ範囲 | pp.- |
| ページ数 | 4 |
| 発行日 | |