| 講演名 | 2016-01-29 ネステロフの加速準ニュートン法による学習アルゴリズムの提案 二宮 洋(湘南工科大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 本研究では，ネステロフによる加速勾配法を準ニュートン法に応用した新たな勾配法を提案する．近年，ネステロフ加速勾配法をニューラルネットワークの学習に応用した研究が盛んである．ネステロフ加速勾配法は，学習アルゴリズムで従来から用いられてきたモーメント法と同様に慣性項を反復に導入し，さらに，勾配ベクトル導出時にも用いた勾配法である．本研究では，この手法を準ニュートン法へ応用することで，準ニュートン法による学習の収束速度を向上させることを目的としている．提案手法をニューラルネットワークの学習に応用し，その有効性をシミュレーションにより示す． |
| 抄録(英) | This paper describes a new quasi-Newton based accelerated technique for training of neural networks. Recently, Nesterov’s accelerated gradient method was utilized for training the neural networks. This paper proposes an accelerated technique for quasi-Newton training algorithm using Nesterov’s gradient method. It is shown that the proposed algorithm has the same convergence property with conventional quasi-Newton method. Neural network training for a benchmark problem is presented to demonstrate the proposed algorithm. The proposed algorithm drastically improves the convergence speed of the quasi-Newton based training algorithms. |
| キーワード(和) | ニューラルネットワーク / 学習アルゴリズム / ネステロㇷの加速勾配法 / 準ニュートン法 |
| キーワード(英) | Neural networks / training algorithm / Nesterov's accelerated gradient method / quasi-Newton method |
| 資料番号 | NLP2015-141 |
| 発行日 | 2016-01-21 (NLP) |
| 研究会情報 | |
| 研究会 | NC / NLP |
|---|---|
| 開催期間 | 2016/1/28(から2日開催) |
| 開催地（和） | 九州工業大学 若松キャンパス |
| 開催地（英） | Kyushu Institute of Technology |
| テーマ（和） | ニューロコンピューティングの実装および人間科学のための解析・モデル化，一般 |
| テーマ（英） | Implementation of Neuro Computing,Analysis and Modeling of Human Science, etc |
| 委員長氏名（和） | 斎藤 利通(法政大) / 神野 健哉(日本工大) |
| 委員長氏名（英） | Toshimichi Saito(Hosei Univ.) / Kenya Jinno(Nippon Inst. of Tech.) |
| 副委員長氏名（和） | 佐藤 茂雄(東北大) / 藤坂 尚登(広島市大) |
| 副委員長氏名（英） | Shigeo Sato(Tohoku Univ.) / Naoto Fujisaka(Hiroshima City Univ.) |
| 幹事氏名（和） | 堀尾 恵一(九工大) / 田中 宏喜(京都産大) / 長谷川 幹雄(東京理科大) / 和田 昌浩(甲南大) |
| 幹事氏名（英） | Keiichi Horio(Kyushu Inst. of Tech.) / Hiroki Tanaka(Kyoto Sangyo Univ.) / Mikio Hasegawa(Tokyo Univ. of Science) / Masahiro Wada(Konan Univ.) |
| 幹事補佐氏名（和） | 神原 裕行(東工大) / 秋間 学尚(東北大) / 中野 秀洋(東京都市大) / 麻原 寛之(岡山理科大) |
| 幹事補佐氏名（英） | Hiroyuki Kanbara(Tokyo Inst. of Tech.) / Hisanao Akima(Tohoku Univ.) / Hidehiro Nakano(Tokyo City Univ.) / Hiroyuki Asahara(Okayama Univ. of Science) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Neurocomputing / Technical Committee on Nonlinear Problems |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | ネステロフの加速準ニュートン法による学習アルゴリズムの提案 |
| サブタイトル（和） | |
| タイトル（英） | Accelerated quasi-Newton Training using Nesterov's Gradient Method |
| サブタイトル（和） | |
| キーワード(1)（和/英） | ニューラルネットワーク / Neural networks |
| キーワード(2)（和/英） | 学習アルゴリズム / training algorithm |
| キーワード(3)（和/英） | ネステロㇷの加速勾配法 / Nesterov's accelerated gradient method |
| キーワード(4)（和/英） | 準ニュートン法 / quasi-Newton method |
| 第 1 著者 氏名（和/英） | 二宮 洋 / Hiroshi Ninomiya |
| 第 1 著者 所属（和/英） | 湘南工科大学(略称：湘南工科大) Shonan Institute of Technology(略称：SIT) |
| 発表年月日 | 2016-01-29 |
| 資料番号 | NLP2015-141 |
| 巻番号（vol） | vol.115 |
| 号番号（no） | NLP-425 |
| ページ範囲 | pp.87-92(NLP), |
| ページ数 | 6 |
| 発行日 | 2016-01-21 (NLP) |