| 講演名 | 2017-07-13 慣性付2次近似勾配モデルを用いた記憶制限準ニュートン法の有効性に関する研究 マハブービ シャヘラザード(湘南工科大), 二宮 洋(湘南工科大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 近年，大規模データ化に伴い，NNの規模も大規模になることが予想される．従って，学習時に使用するパラメータの規模が莫大となり，メモリの使用量も膨大となる．この状況に対応した2次近似学習アルゴリズムとして記憶制限法を導入した準ニュートン法，記憶制限準ニュートン法が注目されている．本研究では，記憶制限準ニュート法に対して慣性付2次近似勾配モデルを用いることに着目した．我々は，慣性付2次近似勾配モデルを用いた準ニュートン法に基づくアルゴリズムとして，ネステロフの加速準ニュートン法を提案した．この手法では，準ニュートン法に対して学習の収束速度を向上させることに成功した．本研究では，このモデルを記憶制限準ニュートン法に用いることで，その有効性を考察する．具体的には，提案手法をニューラルネットワークの学習に応用し，その有効性をシミュレーションにより示す． |
| 抄録(英) | In recent years, along with large-scale data, it is expected that the scale of neural network will be large too. Therefore, the amount of memory becomes enormous as the scale of the parameter of learning becomes huge. To deal with this problem, it is noteworthy that quasi-Newton algorithm incorporating Limited-memory method is effective for large-scale optimization problems. In this paper, we focus on Second-order approximation gradient model with inertial term incorporating Limited-memory scheme. We proposed the quasi-Newton method using Second-order approximation gradient model with inertial term as Nestelov's accelerated quasi-Newton method, improving the convergence speed of training. The effectiveness of Limited-memory scheme for Nestelov's accelerated quasi-Newton method is studied in this research. We apply the proposed method to training of the neural network and show effectiveness using computer simulations. |
| キーワード(和) | 記憶制限準ニュートン法 / 慣性付2次近似勾配モデル / ネステロフの加速準ニュートン法 / ニューラルネットワーク / 学習アルゴリズム |
| キーワード(英) | Limited-memory quasi-Newton method / Second-order approximation gradient model with inertial term / Nestelov’s accelerated quasi-Newton method / neural network / training algorithm |
| 資料番号 | NLP2017-32 |
| 発行日 | 2017-07-06 (NLP) |
| 研究会情報 | |
| 研究会 | NLP |
|---|---|
| 開催期間 | 2017/7/13(から2日開催) |
| 開催地（和） | 宮古島マリンターミナル大研修室 |
| 開催地（英） | Miyako Island Marine Terminal |
| テーマ（和） | 一般 |
| テーマ（英） | etc. |
| 委員長氏名（和） | 安達 雅春(東京電機大) |
| 委員長氏名（英） | Masaharu Adachi(Tokyo Denki Univ.) |
| 副委員長氏名（和） | 高橋 規一(岡山大) |
| 副委員長氏名（英） | Norikazu Takahashi(Okayama Univ.) |
| 幹事氏名（和） | 坪根 正(長岡技科大) / 山内 将行(広島工大) |
| 幹事氏名（英） | Tadashi Tsubone(Nagaoka Univ. of Tech.) / Masayuki Yamauchi(Hiroshima Inst. of Tech.) |
| 幹事補佐氏名（和） | 橘 俊宏(湘南工科大) / 木村 真之(京大) |
| 幹事補佐氏名（英） | Toshihiro Tachibana(Shonan Inst. of Tech.) / Masayuki Kimura(Kyoto Univ.) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Nonlinear Problems |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 慣性付2次近似勾配モデルを用いた記憶制限準ニュートン法の有効性に関する研究 |
| サブタイトル（和） | |
| タイトル（英） | On the Efficiency of Limited-Memory quasi-Newton Training using Second-Order Approximation Gradient Model with Inertial Term |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 記憶制限準ニュートン法 / Limited-memory quasi-Newton method |
| キーワード(2)（和/英） | 慣性付2次近似勾配モデル / Second-order approximation gradient model with inertial term |
| キーワード(3)（和/英） | ネステロフの加速準ニュートン法 / Nestelov’s accelerated quasi-Newton method |
| キーワード(4)（和/英） | ニューラルネットワーク / neural network |
| キーワード(5)（和/英） | 学習アルゴリズム / training algorithm |
| 第 1 著者 氏名（和/英） | マハブービ シャヘラザード / Shahrzad Mahboubi |
| 第 1 著者 所属（和/英） | 湘南工科大学(略称：湘南工科大) Shonan Institute of Technology University(略称：SIT) |
| 第 2 著者 氏名（和/英） | 二宮 洋 / Hiroshi Ninomiya |
| 第 2 著者 所属（和/英） | 湘南工科大学(略称：湘南工科大) Shonan Institute of Technology University(略称：SIT) |
| 発表年月日 | 2017-07-13 |
| 資料番号 | NLP2017-32 |
| 巻番号（vol） | vol.117 |
| 号番号（no） | NLP-121 |
| ページ範囲 | pp.23-28(NLP), |
| ページ数 | 6 |
| 発行日 | 2017-07-06 (NLP) |