| 講演名 | 1998/3/20 超一次収束性を有する適応的学習アルゴリズム , 臼井 支朗, |
|---|---|
| PDFダウンロードページ | PDFダウンロードページへ |
| 抄録(和) | 慣性項を付加した誤差逆伝搬法など, 勾配法を基としたアルゴリズムは, 階層型ニューラルネットの学習法として広く用いられている。しかしながら, 学習係数や慣性率などの学習パラメータをどのように決定するかという問題が必ず生じる。本稿では, 学習経過に応じて適応的に変化するパラメータを用いた学習アルゴリズムを提案する。提案法では, 各々の学習ステップにおいて, 最適な学習係数および慣性率の値が, 1ステップの計算のみで決定される。また, 誤差逆伝搬法と同じ計算量にもかかわらず, 超一次収束性を有し, 結合重みの勾配値を用いたアルゴリズムの中で最速であることが示される。さらに数値実験からも, 誤差逆伝搬法と比較して遙かに良い性能をもつことを示す。 |
| 抄録(英) | Conjugate gradient optimization methods (e. g. BP with momentum) are among the most used MLP network training techniques. Difficulty with the use of the methods is due to the necessity of finding the appropriate values of learning parameters (e. g. learning rate and momentum). This paper introduces a novel algorithm with automatically and dynamically adaptable learning parameters. Learning rate and momentum term are optimally determined at each iteration in a single-step calculation. The newly proposed algorithm has the same computational complexity as BP with momentum, however, it is convergent with superlinear convergence rates, i. e. the fastest convergence rates for first order techniques. Apart from the theoretical justification the simulation results indicate superior performance of the proposed algorithm over the standard BP with momentum term. |
| キーワード(和) | 超一次収束 / 勾配法 / 補正方向探索 / 可変学習パラメータ |
| キーワード(英) | first order optimization / conjugate gradient / line search subproblem / adjustable parameters |
| 資料番号 | |
| 発行日 |
| 研究会情報 | |
| 研究会 | NC |
|---|---|
| 開催期間 | 1998/3/20(から1日開催) |
| 開催地（和） | |
| 開催地（英） | |
| テーマ（和） | |
| テーマ（英） | |
| 委員長氏名（和） | |
| 委員長氏名（英） | |
| 副委員長氏名（和） | |
| 副委員長氏名（英） | |
| 幹事氏名（和） | |
| 幹事氏名（英） | |
| 幹事補佐氏名（和） | |
| 幹事補佐氏名（英） | |
| 講演論文情報詳細 | |
| 申込み研究会 | Neurocomputing (NC) |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 超一次収束性を有する適応的学習アルゴリズム |
| サブタイトル（和） | |
| タイトル（英） | SUPERLINEAR AND AUTOMATICALLY ADAPTABLE CONJUGATE GRADIENT TRAINING ALGORITHM |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 超一次収束 / first order optimization |
| キーワード(2)（和/英） | 勾配法 / conjugate gradient |
| キーワード(3)（和/英） | 補正方向探索 / line search subproblem |
| キーワード(4)（和/英） | 可変学習パラメータ / adjustable parameters |
| 第 1 著者 氏名（和/英） | / Peter GECZY |
| 第 1 著者 所属（和/英） | 豊橋技術科学大学情報工学系 Department of Information and Computer Sciences, Toyohashi University of Technology |
| 第 2 著者 氏名（和/英） | 臼井 支朗 / Shiro USUI |
| 第 2 著者 所属（和/英） | 豊橋技術科学大学情報工学系 Department of Information and Computer Sciences, Toyohashi University of Technology |
| 発表年月日 | 1998/3/20 |
| 資料番号 | |
| 巻番号（vol） | vol.97 |
| 号番号（no） | 624 |
| ページ範囲 | pp.- |
| ページ数 | 8 |
| 発行日 | |