電子情報通信学会 研究会発表申込システム
講演論文 詳細
技報閲覧サービス
技報オンライン
‥‥ (ESS/通ソ/エレソ/ISS)
技報アーカイブ
‥‥ (エレソ)
 トップに戻る 前のページに戻る   [Japanese] / [English] 

講演抄録/キーワード
講演名 2017-07-13 13:25
慣性付2次近似勾配モデルを用いた記憶制限準ニュートン法の有効性に関する研究
マハブービ シャヘラザード二宮 洋湘南工科大
技報オンラインサービス実施中
抄録 (和) 近年,大規模データ化に伴い,NNの規模も大規模になることが予想される.従って,学習時に使用するパラメータの規模が莫大となり,メモリの使用量も膨大となる.この状況に対応した2次近似学習アルゴリズムとして記憶制限法を導入した準ニュートン法,記憶制限準ニュートン法が注目されている.本研究では,記憶制限準ニュート法に対して慣性付2次近似勾配モデルを用いることに着目した.我々は,慣性付2次近似勾配モデルを用いた準ニュートン法に基づくアルゴリズムとして,ネステロフの加速準ニュートン法を提案した.この手法では,準ニュートン法に対して学習の収束速度を向上させることに成功した.本研究では,このモデルを記憶制限準ニュートン法に用いることで,その有効性を考察する.具体的には,提案手法をニューラルネットワークの学習に応用し,その有効性をシミュレーションにより示す. 
(英) In recent years, along with large-scale data, it is expected that the scale of neural network will be large too. Therefore, the amount of memory becomes enormous as the scale of the parameter of learning becomes huge. To deal with this problem, it is noteworthy that quasi-Newton algorithm incorporating Limited-memory method is effective for large-scale optimization problems. In this paper, we focus on Second-order approximation gradient model with inertial term incorporating Limited-memory scheme. We proposed the quasi-Newton method using Second-order approximation gradient model with inertial term as Nestelov's accelerated quasi-Newton method, improving the convergence speed of training. The effectiveness of Limited-memory scheme for Nestelov's accelerated quasi-Newton method is studied in this research. We apply the proposed method to training of the neural network and show effectiveness using computer simulations.
キーワード (和) 記憶制限準ニュートン法 / 慣性付2次近似勾配モデル / ネステロフの加速準ニュートン法 / ニューラルネットワーク / 学習アルゴリズム / / /  
(英) Limited-memory quasi-Newton method / Second-order approximation gradient model with inertial term / Nestelov’s accelerated quasi-Newton method / neural network / training algorithm / / /  
文献情報 信学技報, vol. 117, no. 121, NLP2017-32, pp. 23-28, 2017年7月.
資料番号 NLP2017-32 
発行日 2017-07-06 (NLP) 
ISSN Print edition: ISSN 0913-5685  Online edition: ISSN 2432-6380

研究会情報
研究会 NLP  
開催期間 2017-07-13 - 2017-07-14 
開催地(和) 宮古島マリンターミナル大研修室 
開催地(英) Miyako Island Marine Terminal 
テーマ(和) 一般 
テーマ(英) etc. 
講演論文情報の詳細
申込み研究会 NLP 
会議コード 2017-07-NLP 
本文の言語 日本語 
タイトル(和) 慣性付2次近似勾配モデルを用いた記憶制限準ニュートン法の有効性に関する研究 
サブタイトル(和)  
タイトル(英) On the Efficiency of Limited-Memory quasi-Newton Training using Second-Order Approximation Gradient Model with Inertial Term 
サブタイトル(英)  
キーワード(1)(和/英) 記憶制限準ニュートン法 / Limited-memory quasi-Newton method  
キーワード(2)(和/英) 慣性付2次近似勾配モデル / Second-order approximation gradient model with inertial term  
キーワード(3)(和/英) ネステロフの加速準ニュートン法 / Nestelov’s accelerated quasi-Newton method  
キーワード(4)(和/英) ニューラルネットワーク / neural network  
キーワード(5)(和/英) 学習アルゴリズム / training algorithm  
キーワード(6)(和/英) /  
キーワード(7)(和/英) /  
キーワード(8)(和/英) /  
第1著者 氏名(和/英/ヨミ) マハブービ シャヘラザード / Shahrzad Mahboubi / マハブービ シャヘラザード
第1著者 所属(和/英) 湘南工科大学 (略称: 湘南工科大)
Shonan Institute of Technology University (略称: SIT)
第2著者 氏名(和/英/ヨミ) 二宮 洋 / Hiroshi Ninomiya / ニノミヤ ヒロシ
第2著者 所属(和/英) 湘南工科大学 (略称: 湘南工科大)
Shonan Institute of Technology University (略称: SIT)
第3著者 氏名(和/英/ヨミ) / /
第3著者 所属(和/英) (略称: )
(略称: )
第4著者 氏名(和/英/ヨミ) / /
第4著者 所属(和/英) (略称: )
(略称: )
第5著者 氏名(和/英/ヨミ) / /
第5著者 所属(和/英) (略称: )
(略称: )
第6著者 氏名(和/英/ヨミ) / /
第6著者 所属(和/英) (略称: )
(略称: )
第7著者 氏名(和/英/ヨミ) / /
第7著者 所属(和/英) (略称: )
(略称: )
第8著者 氏名(和/英/ヨミ) / /
第8著者 所属(和/英) (略称: )
(略称: )
第9著者 氏名(和/英/ヨミ) / /
第9著者 所属(和/英) (略称: )
(略称: )
第10著者 氏名(和/英/ヨミ) / /
第10著者 所属(和/英) (略称: )
(略称: )
第11著者 氏名(和/英/ヨミ) / /
第11著者 所属(和/英) (略称: )
(略称: )
第12著者 氏名(和/英/ヨミ) / /
第12著者 所属(和/英) (略称: )
(略称: )
第13著者 氏名(和/英/ヨミ) / /
第13著者 所属(和/英) (略称: )
(略称: )
第14著者 氏名(和/英/ヨミ) / /
第14著者 所属(和/英) (略称: )
(略称: )
第15著者 氏名(和/英/ヨミ) / /
第15著者 所属(和/英) (略称: )
(略称: )
講演者
発表日時 2017-07-13 13:25:00 
発表時間 25 
申込先研究会 NLP 
資料番号 IEICE-NLP2017-32 
巻番号(vol) IEICE-117 
号番号(no) no.121 
ページ範囲 pp.23-28 
ページ数 IEICE-6 
発行日 IEICE-NLP-2017-07-06 


[研究会発表申込システムのトップページに戻る]

[電子情報通信学会ホームページ]


IEICE / 電子情報通信学会