| 講演名 | 1994/5/19 3層ニューラルネットにおける2階導関数を用いた学習アルゴリズムの高速化 斉藤 和巳, 中野 良平, |
|---|---|
| PDFダウンロードページ | PDFダウンロードページへ |
| 抄録(和) | 代表的な非線形最適化法の準ニュートン法や共役傾斜法の適用により,3層ニューラルネットの学習の高速化が期待されるが,従来法では,探索の最適ステップ幅を直接探索により求めるので,1回の反復計算に多くの計算量が必要となり,学習はあまり高速化できなかった.本稿では,最適ステップ幅を2次近似の最小点として求めることにより,バックプロパゲーションと同程度の計算量で,1回の反復計算を実行する2つの方法BPQとBPCを提案する.パリティ問題とソナーデータを用いた実験により,提案法の収束能力と処理効率が,ほとんどの主な従来法と比較して,格段に向上することを示す. |
| 抄録(英) | By using nonlinear optimization techniques such as quasi-Newton methods or conjugate gradient methods,speedup of learning in three- layer neural networks has been expected.However,since existing methods employ heavy direct searches in order to calculate the optimal step lengths,their improvement has not been remarkable.In this paper,we propose two methods:by calculating the optimal step lengths as the minimal points of the second-order approximations, they can perform one iteration efficiently.In the experiments,the proposed methods worked much better than the existing methods. |
| キーワード(和) | 3層ニューラルネット / バックプロパゲーション / 準ニュートン法 / 共役傾斜法 |
| キーワード(英) | 3-layer-neural networks / back propagation / quesi-Newton′s meth od / Conjugate gradient method |
| 資料番号 | NC94-7 |
| 発行日 |
| 研究会情報 | |
| 研究会 | NC |
|---|---|
| 開催期間 | 1994/5/19(から1日開催) |
| 開催地（和） | |
| 開催地（英） | |
| テーマ（和） | |
| テーマ（英） | |
| 委員長氏名（和） | |
| 委員長氏名（英） | |
| 副委員長氏名（和） | |
| 副委員長氏名（英） | |
| 幹事氏名（和） | |
| 幹事氏名（英） | |
| 幹事補佐氏名（和） | |
| 幹事補佐氏名（英） | |
| 講演論文情報詳細 | |
| 申込み研究会 | Neurocomputing (NC) |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 3層ニューラルネットにおける2階導関数を用いた学習アルゴリズムの高速化 |
| サブタイトル（和） | |
| タイトル（英） | Speedup of Learning in 3-layer Neural Networks using Second-order Method |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 3層ニューラルネット / 3-layer-neural networks |
| キーワード(2)（和/英） | バックプロパゲーション / back propagation |
| キーワード(3)（和/英） | 準ニュートン法 / quesi-Newton′s meth od |
| キーワード(4)（和/英） | 共役傾斜法 / Conjugate gradient method |
| 第 1 著者 氏名（和/英） | 斉藤 和巳 / Kazumi Saito |
| 第 1 著者 所属（和/英） | NTTコミュニケーション科学研究所 NTT Communication Science Laboratories |
| 第 2 著者 氏名（和/英） | 中野 良平 / Ryohei Nakano |
| 第 2 著者 所属（和/英） | NTTコミュニケーション科学研究所 NTT Communication Science Laboratories |
| 発表年月日 | 1994/5/19 |
| 資料番号 | NC94-7 |
| 巻番号（vol） | vol.94 |
| 号番号（no） | 40 |
| ページ範囲 | pp.- |
| ページ数 | 8 |
| 発行日 | |