| 講演名 | 1999/7/19 多層階層型神経回路網の最急降下学習に関する一つの幾何学的考察 萩原 克幸, 久野 和宏, |
|---|---|
| PDFダウンロードページ | PDFダウンロードページへ |
| 抄録(和) | 最急降下学習は, 最も基本的かつ単純な学習法である. しかしながら, 多層階層型神経回路網の場合には, 誤差曲面の谷構造, premature saturation/flat spot problem, symmetric phase/plateauなどの問題が指摘されていることからも分かるように, 十分な解析がなされているとは言えない. 本稿では, まず, 出力素子の活性化関数が線形関数である多層階層型神経回路網について, 最急降下学習の一つの幾何学的な解釈を与えた. 次に, これに基づき, 通常の更新則では, 入力重みの更新量と出力重みの更新量の間の不整合に起因して, 学習効率が低下する場合があることを示すとともに, この問題を解決するための更新則の単純な修正を与えた. また, 簡単な数値実験により, 通常の更新則では, 出力重みの更新により, 入力重みだけを更新した場合よりも学習誤差が悪化する場合があることを示すとともに, これに起因して学習誤差が増加する場合もあることを示した. また, 更新則の単純な修正により, こうした学習効率の低下が抑えられることを示し, 本稿での考察の正当性を確認した. |
| 抄録(英) | Although the gradient descent learning is the most basic and the simplest learning rule, it is not well-known the behaviour for multilayer perceptron as indicated by the existence of problems such as the ravine of error surface, premature saturation/flat spot problem and symmetric phase/plateau. In this article, first, we gave a geometrical interpretation of the gradient descent learning of multilayer perceptron whose activation function in the output layer is linear function. Based on the interpretation, we considered the case in which the training is not properly performed because of the unbalance between the adjustments of input weight and output weight. To overcome this problem, we gave a simple modification of the ordinal learning rule. The justification of our consideration was shown in the numerical experiments. |
| キーワード(和) | 多層階層型神経回路網 / 最急降下学習 / 線形パラメータ / 非線形パラメータ / 線形最小二乗推定量 |
| キーワード(英) | multilayer perceptron / gradient descent learning / linear parameter / nonlinear parameter / linear least squares estimators |
| 資料番号 | NC99-38 |
| 発行日 |
| 研究会情報 | |
| 研究会 | NC |
|---|---|
| 開催期間 | 1999/7/19(から1日開催) |
| 開催地（和） | |
| 開催地（英） | |
| テーマ（和） | |
| テーマ（英） | |
| 委員長氏名（和） | |
| 委員長氏名（英） | |
| 副委員長氏名（和） | |
| 副委員長氏名（英） | |
| 幹事氏名（和） | |
| 幹事氏名（英） | |
| 幹事補佐氏名（和） | |
| 幹事補佐氏名（英） | |
| 講演論文情報詳細 | |
| 申込み研究会 | Neurocomputing (NC) |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 多層階層型神経回路網の最急降下学習に関する一つの幾何学的考察 |
| サブタイトル（和） | |
| タイトル（英） | A geometrical consideration on the gradient descent learning of multilayer perceptron |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 多層階層型神経回路網 / multilayer perceptron |
| キーワード(2)（和/英） | 最急降下学習 / gradient descent learning |
| キーワード(3)（和/英） | 線形パラメータ / linear parameter |
| キーワード(4)（和/英） | 非線形パラメータ / nonlinear parameter |
| キーワード(5)（和/英） | 線形最小二乗推定量 / linear least squares estimators |
| 第 1 著者 氏名（和/英） | 萩原 克幸 / Katsuyuki HAGIWARA |
| 第 1 著者 所属（和/英） | 三重大学工学部物理工学科 Faculty of Physics Engineering, Mie University |
| 第 2 著者 氏名（和/英） | 久野 和宏 / Kazuhiro KUNO |
| 第 2 著者 所属（和/英） | 三重大学工学部物理工学科 Faculty of Physics Engineering, Mie University |
| 発表年月日 | 1999/7/19 |
| 資料番号 | NC99-38 |
| 巻番号（vol） | vol.99 |
| 号番号（no） | 193 |
| ページ範囲 | pp.- |
| ページ数 | 8 |
| 発行日 | |