| 講演名 | 1994/10/13 準ニュートン法に基づくElmanネットワークの学習アルゴリズム 斉藤 和巳, 中野 良平, |
|---|---|
| PDFダウンロードページ | PDFダウンロードページへ |
| 抄録(和) | リカレントネットワークの代表的な学習法に,BPTTアルゴリズムとRTRLアルゴリズムがある.しかし,これらの方法ま最急降下法に基づくため,一般に,収束までには,多くの反復計算が必要となる.本稿では,Elmanネットワークの新学習アルゴリズムBPTTQを提案する.準ニュートン法に基づくBPTTQの特徴は,最適ステップ幅を2次近似の最小点として求めることにある.時間遅れXOR問題と漸化式の近似問題を用いた実験では,既存法と比較して,少さい計算量で高品質の解が求められ,かつ,その収束性も良いことを示す. |
| 抄録(英) | The BPTT and RTRL algorithms are representative learning methods for recurrent neural networks.Since these methods,however,are based on the steepest-descent algorithm,they often require a large number of iterations for convergence.In this paper,we propose a new learning algorithm called BPTTQ,which employs an efficient calculation of the optimal step lengths as the minimal points of an approximation.Experiments showed that BPTTQ worked much better than the existing algorithms. |
| キーワード(和) | Elmanネットワーク / BPTT / RTRL / 準ニュートン法 / 最適ステップ幅 |
| キーワード(英) | Elman networks / BPTT / RTRL / quasi-Newton method / optimal step-length |
| 資料番号 | NC94-38 |
| 発行日 |
| 研究会情報 | |
| 研究会 | NC |
|---|---|
| 開催期間 | 1994/10/13(から1日開催) |
| 開催地（和） | |
| 開催地（英） | |
| テーマ（和） | |
| テーマ（英） | |
| 委員長氏名（和） | |
| 委員長氏名（英） | |
| 副委員長氏名（和） | |
| 副委員長氏名（英） | |
| 幹事氏名（和） | |
| 幹事氏名（英） | |
| 幹事補佐氏名（和） | |
| 幹事補佐氏名（英） | |
| 講演論文情報詳細 | |
| 申込み研究会 | Neurocomputing (NC) |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 準ニュートン法に基づくElmanネットワークの学習アルゴリズム |
| サブタイトル（和） | |
| タイトル（英） | Learning Algorithm for Elman Networks based on Quasi-Newton Method |
| サブタイトル（和） | |
| キーワード(1)（和/英） | Elmanネットワーク / Elman networks |
| キーワード(2)（和/英） | BPTT / BPTT |
| キーワード(3)（和/英） | RTRL / RTRL |
| キーワード(4)（和/英） | 準ニュートン法 / quasi-Newton method |
| キーワード(5)（和/英） | 最適ステップ幅 / optimal step-length |
| 第 1 著者 氏名（和/英） | 斉藤 和巳 / Kazumi Saito |
| 第 1 著者 所属（和/英） | NTTコミュニケーション科学研究所 Science Laboratories,NTT Communication |
| 第 2 著者 氏名（和/英） | 中野 良平 / Ryohei Nakano |
| 第 2 著者 所属（和/英） | NTTコミュニケーション科学研究所 Science Laboratories,NTT Communication |
| 発表年月日 | 1994/10/13 |
| 資料番号 | NC94-38 |
| 巻番号（vol） | vol.94 |
| 号番号（no） | 272 |
| ページ範囲 | pp.- |
| ページ数 | 8 |
| 発行日 | |