お知らせ 2023年度・2024年度 学生員 会費割引キャンペーン実施中です
お知らせ 技術研究報告と和文論文誌Cの同時投稿施策(掲載料1割引き)について
お知らせ 電子情報通信学会における研究会開催について
お知らせ NEW 参加費の返金について
電子情報通信学会 研究会発表申込システム
講演論文 詳細
技報閲覧サービス
[ログイン]
技報アーカイブ
 トップに戻る 前のページに戻る   [Japanese] / [English] 

講演抄録/キーワード
講演名 2017-07-13 13:25
慣性付2次近似勾配モデルを用いた記憶制限準ニュートン法の有効性に関する研究
マハブービ シャヘラザード二宮 洋湘南工科大NLP2017-32
抄録 (和) 近年,大規模データ化に伴い,NNの規模も大規模になることが予想される.従って,学習時に使用するパラメータの規模が莫大となり,メモリの使用量も膨大となる.この状況に対応した2次近似学習アルゴリズムとして記憶制限法を導入した準ニュートン法,記憶制限準ニュートン法が注目されている.本研究では,記憶制限準ニュート法に対して慣性付2次近似勾配モデルを用いることに着目した.我々は,慣性付2次近似勾配モデルを用いた準ニュートン法に基づくアルゴリズムとして,ネステロフの加速準ニュートン法を提案した.この手法では,準ニュートン法に対して学習の収束速度を向上させることに成功した.本研究では,このモデルを記憶制限準ニュートン法に用いることで,その有効性を考察する.具体的には,提案手法をニューラルネットワークの学習に応用し,その有効性をシミュレーションにより示す. 
(英) In recent years, along with large-scale data, it is expected that the scale of neural network will be large too. Therefore, the amount of memory becomes enormous as the scale of the parameter of learning becomes huge. To deal with this problem, it is noteworthy that quasi-Newton algorithm incorporating Limited-memory method is effective for large-scale optimization problems. In this paper, we focus on Second-order approximation gradient model with inertial term incorporating Limited-memory scheme. We proposed the quasi-Newton method using Second-order approximation gradient model with inertial term as Nestelov's accelerated quasi-Newton method, improving the convergence speed of training. The effectiveness of Limited-memory scheme for Nestelov's accelerated quasi-Newton method is studied in this research. We apply the proposed method to training of the neural network and show effectiveness using computer simulations.
キーワード (和) 記憶制限準ニュートン法 / 慣性付2次近似勾配モデル / ネステロフの加速準ニュートン法 / ニューラルネットワーク / 学習アルゴリズム / / /  
(英) Limited-memory quasi-Newton method / Second-order approximation gradient model with inertial term / Nestelov’s accelerated quasi-Newton method / neural network / training algorithm / / /  
文献情報 信学技報, vol. 117, no. 121, NLP2017-32, pp. 23-28, 2017年7月.
資料番号 NLP2017-32 
発行日 2017-07-06 (NLP) 
ISSN Print edition: ISSN 0913-5685    Online edition: ISSN 2432-6380
著作権に
ついて
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034)
PDFダウンロード NLP2017-32

研究会情報
研究会 NLP  
開催期間 2017-07-13 - 2017-07-14 
開催地(和) 宮古島マリンターミナル大研修室 
開催地(英) Miyako Island Marine Terminal 
テーマ(和) 一般 
テーマ(英) etc. 
講演論文情報の詳細
申込み研究会 NLP 
会議コード 2017-07-NLP 
本文の言語 日本語 
タイトル(和) 慣性付2次近似勾配モデルを用いた記憶制限準ニュートン法の有効性に関する研究 
サブタイトル(和)  
タイトル(英) On the Efficiency of Limited-Memory quasi-Newton Training using Second-Order Approximation Gradient Model with Inertial Term 
サブタイトル(英)  
キーワード(1)(和/英) 記憶制限準ニュートン法 / Limited-memory quasi-Newton method  
キーワード(2)(和/英) 慣性付2次近似勾配モデル / Second-order approximation gradient model with inertial term  
キーワード(3)(和/英) ネステロフの加速準ニュートン法 / Nestelov’s accelerated quasi-Newton method  
キーワード(4)(和/英) ニューラルネットワーク / neural network  
キーワード(5)(和/英) 学習アルゴリズム / training algorithm  
キーワード(6)(和/英) /  
キーワード(7)(和/英) /  
キーワード(8)(和/英) /  
第1著者 氏名(和/英/ヨミ) マハブービ シャヘラザード / Shahrzad Mahboubi / マハブービ シャヘラザード
第1著者 所属(和/英) 湘南工科大学 (略称: 湘南工科大)
Shonan Institute of Technology University (略称: SIT)
第2著者 氏名(和/英/ヨミ) 二宮 洋 / Hiroshi Ninomiya / ニノミヤ ヒロシ
第2著者 所属(和/英) 湘南工科大学 (略称: 湘南工科大)
Shonan Institute of Technology University (略称: SIT)
第3著者 氏名(和/英/ヨミ) / /
第3著者 所属(和/英) (略称: )
(略称: )
第4著者 氏名(和/英/ヨミ) / /
第4著者 所属(和/英) (略称: )
(略称: )
第5著者 氏名(和/英/ヨミ) / /
第5著者 所属(和/英) (略称: )
(略称: )
第6著者 氏名(和/英/ヨミ) / /
第6著者 所属(和/英) (略称: )
(略称: )
第7著者 氏名(和/英/ヨミ) / /
第7著者 所属(和/英) (略称: )
(略称: )
第8著者 氏名(和/英/ヨミ) / /
第8著者 所属(和/英) (略称: )
(略称: )
第9著者 氏名(和/英/ヨミ) / /
第9著者 所属(和/英) (略称: )
(略称: )
第10著者 氏名(和/英/ヨミ) / /
第10著者 所属(和/英) (略称: )
(略称: )
第11著者 氏名(和/英/ヨミ) / /
第11著者 所属(和/英) (略称: )
(略称: )
第12著者 氏名(和/英/ヨミ) / /
第12著者 所属(和/英) (略称: )
(略称: )
第13著者 氏名(和/英/ヨミ) / /
第13著者 所属(和/英) (略称: )
(略称: )
第14著者 氏名(和/英/ヨミ) / /
第14著者 所属(和/英) (略称: )
(略称: )
第15著者 氏名(和/英/ヨミ) / /
第15著者 所属(和/英) (略称: )
(略称: )
第16著者 氏名(和/英/ヨミ) / /
第16著者 所属(和/英) (略称: )
(略称: )
第17著者 氏名(和/英/ヨミ) / /
第17著者 所属(和/英) (略称: )
(略称: )
第18著者 氏名(和/英/ヨミ) / /
第18著者 所属(和/英) (略称: )
(略称: )
第19著者 氏名(和/英/ヨミ) / /
第19著者 所属(和/英) (略称: )
(略称: )
第20著者 氏名(和/英/ヨミ) / /
第20著者 所属(和/英) (略称: )
(略称: )
講演者 第1著者 
発表日時 2017-07-13 13:25:00 
発表時間 25分 
申込先研究会 NLP 
資料番号 NLP2017-32 
巻番号(vol) vol.117 
号番号(no) no.121 
ページ範囲 pp.23-28 
ページ数
発行日 2017-07-06 (NLP) 


[研究会発表申込システムのトップページに戻る]

[電子情報通信学会ホームページ]


IEICE / 電子情報通信学会