| 講演名 | 2003/7/7 後退最急降下法に基づく階層型ニューラルネットワークの学習アルゴリズム 富田 親弘, 吉田 昌弘, 二宮 洋, 浅井 秀樹, |
|---|---|
| PDFダウンロードページ | PDFダウンロードページへ |
| 抄録(和) | 階層型ニューラルネットワークの学習則として,一次収束性や二次収束性を持つ方法がある.前者は最急降下法(Steepest Decent method, SD法)などを用いたアルゴリズムであり,後者はGauss-Newton法(GN法)などのアルゴリズムである.本研究ではSD法の勾配を陰的に解く後退最急降下法(Backward Steepest Decent method, BSD法)を用いた学習アルゴリズムを提案する.また,このBSD法がGN法を包括していることを示す.これによりBSD法はSD法とGN法の両者の特徴をあわせ持つ新たな学習法であると考えることができる.さらに,BSD法にモーメント法の手法を加えたBSDM(Backward Steepest Decent with Momentum)法を提案し,これが数値解析法におけるセミインプリシット手法に基づいていることを示す.コンピュータシミュレーションでは提案手法とGN法の学習能力を比較する. |
| 抄録(英) | This paper describes an efficient second-order algorithm for learning of the multilayer neural networks with widely and stable convergent properties. First, the algorithm based on iterative formula of the steepest descent method, which is "implicitly" employed, is introduced. This method is refered to as Backward Steepest Decent (BSD) method. We show the equivalent property between the Gauss-Newton (GN) method and the BSD method. This means that BSD method satisfies the desired targets by simultaneously combining the merits of the GN and SD techniques in order to enhance the very good properties of SD method. Next, we propose a very powerful algorithm for learning multiplayer feedforward neural networks, called backward steepest descent with momentum(BSDM) method and show the analogy with the semi-implicit formula in the field of numerical analysis. Finally, the proposed algorithms are compared with GN method for training multilayer neural networks through the computer simulations. |
| キーワード(和) | 階層型ニューラルネットワーク / 学習アルゴリズム / Gauss-Newton法 / 最急降下法 / モーメント法 |
| キーワード(英) | Multilayer Neural network / learning method / Gauss-Newton method / Steepest Decent method / Moment method |
| 資料番号 | NLP2003-41 |
| 発行日 |
| 研究会情報 | |
| 研究会 | NLP |
|---|---|
| 開催期間 | 2003/7/7(から1日開催) |
| 開催地（和） | |
| 開催地（英） | |
| テーマ（和） | |
| テーマ（英） | |
| 委員長氏名（和） | |
| 委員長氏名（英） | |
| 副委員長氏名（和） | |
| 副委員長氏名（英） | |
| 幹事氏名（和） | |
| 幹事氏名（英） | |
| 幹事補佐氏名（和） | |
| 幹事補佐氏名（英） | |
| 講演論文情報詳細 | |
| 申込み研究会 | Nonlinear Problems (NLP) |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 後退最急降下法に基づく階層型ニューラルネットワークの学習アルゴリズム |
| サブタイトル（和） | |
| タイトル（英） | The learning algorithm for feed forward neural networks based on Backward Steepest Decent method. |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 階層型ニューラルネットワーク / Multilayer Neural network |
| キーワード(2)（和/英） | 学習アルゴリズム / learning method |
| キーワード(3)（和/英） | Gauss-Newton法 / Gauss-Newton method |
| キーワード(4)（和/英） | 最急降下法 / Steepest Decent method |
| キーワード(5)（和/英） | モーメント法 / Moment method |
| 第 1 著者 氏名（和/英） | 富田 親弘 / Chikahiro Tomita |
| 第 1 著者 所属（和/英） | 静岡大学工学部システム工学科 Department of Systems Engineering, Shizuoka University |
| 第 2 著者 氏名（和/英） | 吉田 昌弘 / Masahiro Yoshida |
| 第 2 著者 所属（和/英） | 静岡大学工学部システム工学科 Department of Systems Engineering, Shizuoka University |
| 第 3 著者 氏名（和/英） | 二宮 洋 / Hiroshi Ninomiya |
| 第 3 著者 所属（和/英） | 湘南工科大学工学部情報工学科 Dept. of Inf. Science, Shonan Institute of Technology |
| 第 4 著者 氏名（和/英） | 浅井 秀樹 / Hideki Asai |
| 第 4 著者 所属（和/英） | 静岡大学工学部システム工学科 Department of Systems Engineering, Shizuoka University |
| 発表年月日 | 2003/7/7 |
| 資料番号 | NLP2003-41 |
| 巻番号（vol） | vol.103 |
| 号番号（no） | 185 |
| ページ範囲 | pp.- |
| ページ数 | 6 |
| 発行日 | |