講演抄録/キーワード |
講演名 |
2017-07-13 13:25
慣性付2次近似勾配モデルを用いた記憶制限準ニュートン法の有効性に関する研究 ○マハブービ シャヘラザード・二宮 洋(湘南工科大) NLP2017-32 |
抄録 |
(和) |
近年,大規模データ化に伴い,NNの規模も大規模になることが予想される.従って,学習時に使用するパラメータの規模が莫大となり,メモリの使用量も膨大となる.この状況に対応した2次近似学習アルゴリズムとして記憶制限法を導入した準ニュートン法,記憶制限準ニュートン法が注目されている.本研究では,記憶制限準ニュート法に対して慣性付2次近似勾配モデルを用いることに着目した.我々は,慣性付2次近似勾配モデルを用いた準ニュートン法に基づくアルゴリズムとして,ネステロフの加速準ニュートン法を提案した.この手法では,準ニュートン法に対して学習の収束速度を向上させることに成功した.本研究では,このモデルを記憶制限準ニュートン法に用いることで,その有効性を考察する.具体的には,提案手法をニューラルネットワークの学習に応用し,その有効性をシミュレーションにより示す. |
(英) |
In recent years, along with large-scale data, it is expected that the scale of neural network will be large too. Therefore, the amount of memory becomes enormous as the scale of the parameter of learning becomes huge. To deal with this problem, it is noteworthy that quasi-Newton algorithm incorporating Limited-memory method is effective for large-scale optimization problems. In this paper, we focus on Second-order approximation gradient model with inertial term incorporating Limited-memory scheme. We proposed the quasi-Newton method using Second-order approximation gradient model with inertial term as Nestelov's accelerated quasi-Newton method, improving the convergence speed of training. The effectiveness of Limited-memory scheme for Nestelov's accelerated quasi-Newton method is studied in this research. We apply the proposed method to training of the neural network and show effectiveness using computer simulations. |
キーワード |
(和) |
記憶制限準ニュートン法 / 慣性付2次近似勾配モデル / ネステロフの加速準ニュートン法 / ニューラルネットワーク / 学習アルゴリズム / / / |
(英) |
Limited-memory quasi-Newton method / Second-order approximation gradient model with inertial term / Nestelov’s accelerated quasi-Newton method / neural network / training algorithm / / / |
文献情報 |
信学技報, vol. 117, no. 121, NLP2017-32, pp. 23-28, 2017年7月. |
資料番号 |
NLP2017-32 |
発行日 |
2017-07-06 (NLP) |
ISSN |
Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 |
著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) |
PDFダウンロード |
NLP2017-32 |