| 講演名 | 2003/7/21 Plateau and Quasi-Plateau Due to Singularity in Multilayer Perceptrons : Standard Gradient vs. Natural Gradient 朴 慧暎, 井上 真郷, 岡田 真人, |
|---|---|
| PDFダウンロードページ | PDFダウンロードページへ |
| 抄録(和) | |
| 抄録(英) | In a hierarchical set of models, a low order model is included in the parameter space of a larger order model as a union of subspaces, which makes singularities in the parameter space. The complex singular structure is known to affect estimation performances and learning dynamics of the models. Although there have been a number of studies on properties of obtained estimators for the models, there are few studies on the dynamical properties of learning exploited for obtaining the estimators. Taking Statistical mechanical approach, we investigate influences of singularities on dynamics of standard gradient learning and natural gradient learning under various learning conditions for mutilayer percpetorns. In the standard gradient learning, we found a quasi-plateau phenomenon, which is severer than the well known plateau in some cases. The slow convergence due to the quasi-plateau and plateau becomes extremely serious when an optimal point is in a neighborhood of singularity. In the natural gradient learning, however, the quasi-plateau and plateau are not observed and convergence speed is hardly affected by singularity. |
| キーワード(和) | |
| キーワード(英) | Multilayer Perceptron / Unidentifiable parameter / Singular structures / On-line learning dyanamics / Statistical mechanics |
| 資料番号 | NC2003-24 |
| 発行日 |
| 研究会情報 | |
| 研究会 | NC |
|---|---|
| 開催期間 | 2003/7/21(から1日開催) |
| 開催地（和） | |
| 開催地（英） | |
| テーマ（和） | |
| テーマ（英） | |
| 委員長氏名（和） | |
| 委員長氏名（英） | |
| 副委員長氏名（和） | |
| 副委員長氏名（英） | |
| 幹事氏名（和） | |
| 幹事氏名（英） | |
| 幹事補佐氏名（和） | |
| 幹事補佐氏名（英） | |
| 講演論文情報詳細 | |
| 申込み研究会 | Neurocomputing (NC) |
|---|---|
| 本文の言語 | ENG |
| タイトル（和） | |
| サブタイトル（和） | |
| タイトル（英） | Plateau and Quasi-Plateau Due to Singularity in Multilayer Perceptrons : Standard Gradient vs. Natural Gradient |
| サブタイトル（和） | |
| キーワード(1)（和/英） | / Multilayer Perceptron |
| 第 1 著者 氏名（和/英） | 朴 慧暎 / Hyeyoung PARK |
| 第 1 著者 所属（和/英） | 理研 RIKEN Brain Science Institute |
| 第 2 著者 氏名（和/英） | 井上 真郷 / Masato INOUE |
| 第 2 著者 所属（和/英） | 理研 RIKEN Brain Science Institute |
| 第 3 著者 氏名（和/英） | 岡田 真人 / Masato OKADA |
| 第 3 著者 所属（和/英） | 理研:科技団さきがけ RIKEN Brain Science Institute:"Intelligent Cooperation and Control", PRESTO, JST |
| 発表年月日 | 2003/7/21 |
| 資料番号 | NC2003-24 |
| 巻番号（vol） | vol.103 |
| 号番号（no） | 227 |
| ページ範囲 | pp.- |
| ページ数 | 6 |
| 発行日 | |