| 講演名 | 2016-01-29 新しいDropout法の提案と動特性の解析 斎藤 大輔(日大), 近藤 佑(日大), 原 一之(日大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | Deep learningはネットワーク規模が大きくかつ多くのユニットから構成されているため，過学習を起こしやすい．そのため，過学習を防ぐいくつかの正則化手法が提案されており，その一つにDropoutがある．Dropoutは，ネットワークの中間ユニットや入力の一部をランダムに選び，それらを無視して学習する方法である．これにより学習時のネットワーク規模が小さくなり，過学習を起こしにくくなる．学習後は無視した中間ユニットと学習したネットワークの和で出力を計算する．この方法はアンサンブル学習と見ることができる．一方，学習を行う際の入力の数やネットワーク規模が問題に対して適切な場合，対称性の破壊という現象が起き，誤差が著しく小さくなる．そこで我々はDropoutの持つ正則化の効果だけではなく，対称性の破壊を起こしやすくし，更にアンサンブル学習の効果も得られる方法を開発した． |
| 抄録(英) | Deep learning that use a large network and includes many units tends to occur the overfitting. Therefore, to avoid the overfitting, several regularization methods have been proposed, and one of them is Dropout. Dropout selects some units of the network at random and it drops them in the learning process. Then the network size becomes smaller, and the overfitting can be avoided. When calculating the output, we sum up the dropped units and that of not dropped units. This seems like the ensemble learning. On the other hand, there is a phenomenon called the symmetry breaking that achieves very small residual error. Then, we treated Dropout as the ensemble learning, and explored the Dropout that achieves the symmetry breaking. |
| キーワード(和) | Dropout / 正則化 / オンライン学習 / ニューラルネットワーク |
| キーワード(英) | Dropout / regularization / online learning / neural networks |
| 資料番号 | NC2015-67 |
| 発行日 | 2016-01-21 (NC) |
| 研究会情報 | |
| 研究会 | NC / NLP |
|---|---|
| 開催期間 | 2016/1/28(から2日開催) |
| 開催地（和） | 九州工業大学 若松キャンパス |
| 開催地（英） | Kyushu Institute of Technology |
| テーマ（和） | ニューロコンピューティングの実装および人間科学のための解析・モデル化，一般 |
| テーマ（英） | Implementation of Neuro Computing,Analysis and Modeling of Human Science, etc |
| 委員長氏名（和） | 斎藤 利通(法政大) / 神野 健哉(日本工大) |
| 委員長氏名（英） | Toshimichi Saito(Hosei Univ.) / Kenya Jinno(Nippon Inst. of Tech.) |
| 副委員長氏名（和） | 佐藤 茂雄(東北大) / 藤坂 尚登(広島市大) |
| 副委員長氏名（英） | Shigeo Sato(Tohoku Univ.) / Naoto Fujisaka(Hiroshima City Univ.) |
| 幹事氏名（和） | 堀尾 恵一(九工大) / 田中 宏喜(京都産大) / 長谷川 幹雄(東京理科大) / 和田 昌浩(甲南大) |
| 幹事氏名（英） | Keiichi Horio(Kyushu Inst. of Tech.) / Hiroki Tanaka(Kyoto Sangyo Univ.) / Mikio Hasegawa(Tokyo Univ. of Science) / Masahiro Wada(Konan Univ.) |
| 幹事補佐氏名（和） | 神原 裕行(東工大) / 秋間 学尚(東北大) / 中野 秀洋(東京都市大) / 麻原 寛之(岡山理科大) |
| 幹事補佐氏名（英） | Hiroyuki Kanbara(Tokyo Inst. of Tech.) / Hisanao Akima(Tohoku Univ.) / Hidehiro Nakano(Tokyo City Univ.) / Hiroyuki Asahara(Okayama Univ. of Science) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Neurocomputing / Technical Committee on Nonlinear Problems |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 新しいDropout法の提案と動特性の解析 |
| サブタイトル（和） | |
| タイトル（英） | Proposal of novel dropout method and its analysis of dynamic property |
| サブタイトル（和） | |
| キーワード(1)（和/英） | Dropout / Dropout |
| キーワード(2)（和/英） | 正則化 / regularization |
| キーワード(3)（和/英） | オンライン学習 / online learning |
| キーワード(4)（和/英） | ニューラルネットワーク / neural networks |
| 第 1 著者 氏名（和/英） | 斎藤 大輔 / Daisuke Saitoh |
| 第 1 著者 所属（和/英） | 日本大学(略称：日大) Nihon University(略称：Nihon Univ.) |
| 第 2 著者 氏名（和/英） | 近藤 佑 / Tasuku Kondo |
| 第 2 著者 所属（和/英） | 日本大学(略称：日大) Nihon University(略称：Nihon Univ.) |
| 第 3 著者 氏名（和/英） | 原 一之 / Kazuyuki Hara |
| 第 3 著者 所属（和/英） | 日本大学(略称：日大) Nihon University(略称：Nihon Univ.) |
| 発表年月日 | 2016-01-29 |
| 資料番号 | NC2015-67 |
| 巻番号（vol） | vol.115 |
| 号番号（no） | NC-426 |
| ページ範囲 | pp.55-60(NC), |
| ページ数 | 6 |
| 発行日 | 2016-01-21 (NC) |