電子情報通信学会 研究会発表申込システム
講演論文 詳細
技報閲覧サービス
技報オンライン
‥‥ (ESS/通ソ/エレソ/ISS)
技報アーカイブ
‥‥ (エレソ/通ソ)
 トップに戻る 前のページに戻る   [Japanese] / [English] 

講演抄録/キーワード
講演名 2019-03-15 14:55
準ニュートン法における慣性項の影響に関する研究
マハブービ シェヘラザード湘南工科大)・インドラプリヤダルシニ S静岡大)・二宮 洋湘南工科大)・浅井秀樹静岡大
技報オンラインサービス実施中
抄録 (和) 本研究では,慣性付2次近似勾配モデルで用いられているネステロフの加速勾配を近似した新たな準ニュートン法に基づく学習アルゴリズムを提案する.我々は,慣性付 2 次近似勾配モデルを用いた準ニュートン法をネステロフの加速準ニュートン法として提案し,ニューラルネットワークの学習において有効であることを示した.しかし, ネステロフの加速準ニュートン法では1反復において,2回勾配を計算しなければならない.これは一反復の計算時間を増加させる原因であった.本研究では,ネステロフの加速準ニュートンに用いられているネステロフの加速勾配を,誤差関数を2次関数と見なすことで線形近似する.これにより,1反復における勾配計算を1回に抑え,計算時間の高速化を目指す.提案手法をニューラルネットワークの学習に応用し,その有効性をシミュレーションにより示す. 
(英) The Nesterov's Accelerated quasi-Newton (NAQ) method was derived from the quadratic approximation of the error function incorporating the momentum term in the quasi-Newton method. This method was effective for training in neural networks. However, the gradient calculation of NAQ was conducted two times within one iteration. This increased the computation time. In this research we propose a new quasi-Newton based training method that approximates the Nesterov's accelerated gradient used in NAQ such that the gradient is computed only once per iteration. The performance of the proposed method is evaluated on benchmark data-sets and microwave circuit modeling data. The results show significant acceleration in computation time compared to conventional training algorithms.
キーワード (和) ニューラルネットワーク / 学習アルゴリズム / 準ニュートン法 / 慣性付2次近似勾配モデル / 慣性項 / / /  
(英) Neural network / training algorithm / quasi-Newton method / Nesterov's accelerated quasi-Newton method / momentum term / / /  
文献情報 信学技報, vol. 118, no. 498, NLP2018-137, pp. 69-74, 2019年3月.
資料番号 NLP2018-137 
発行日 2019-03-07 (NLP) 
ISSN Print edition: ISSN 0913-5685  Online edition: ISSN 2432-6380

研究会情報
研究会 NLP MSS  
開催期間 2019-03-14 - 2019-03-15 
開催地(和) 福井大学 文京キャンパス 
開催地(英) Bunkyo Camp., Univ. of Fukui 
テーマ(和) SICE-DES研究会,IEICE-MSS研究会,IEICE-NLP研究会の3研究会併催,一般およびWork In Progress(WIP) 
テーマ(英) SICE-DES, IEICE-MSS, IEICE-NLP, Work In Progress, and etc. 
講演論文情報の詳細
申込み研究会 NLP 
会議コード 2019-03-NLP-MSS 
本文の言語 日本語 
タイトル(和) 準ニュートン法における慣性項の影響に関する研究 
サブタイトル(和)  
タイトル(英) On the Influence of Momentum term in quasi-Newton method 
サブタイトル(英)  
キーワード(1)(和/英) ニューラルネットワーク / Neural network  
キーワード(2)(和/英) 学習アルゴリズム / training algorithm  
キーワード(3)(和/英) 準ニュートン法 / quasi-Newton method  
キーワード(4)(和/英) 慣性付2次近似勾配モデル / Nesterov's accelerated quasi-Newton method  
キーワード(5)(和/英) 慣性項 / momentum term  
キーワード(6)(和/英) /  
キーワード(7)(和/英) /  
キーワード(8)(和/英) /  
第1著者 氏名(和/英/ヨミ) マハブービ シェヘラザード / Shahrzad Mahboubi / マハブービ シェヘラザード
第1著者 所属(和/英) 湘南工科大学 (略称: 湘南工科大)
Shonan Institute of Technology (略称: SIT)
第2著者 氏名(和/英/ヨミ) インドラプリヤダルシニ S / Indrapriyadarsini s / インドラプリヤダルシニ S
第2著者 所属(和/英) 静岡大学 (略称: 静岡大)
Shizuoka University (略称: Shizuoka Univ.)
第3著者 氏名(和/英/ヨミ) 二宮 洋 / Hiroshi Ninomiya / ニノミヤ ヒロシ
第3著者 所属(和/英) 湘南工科大学 (略称: 湘南工科大)
Shonan Institute of Technology (略称: SIT)
第4著者 氏名(和/英/ヨミ) 浅井 秀樹 / Hideki Asai / アサイ ヒデキ
第4著者 所属(和/英) 静岡大学 (略称: 静岡大)
Shizuoka University (略称: Shizuoka Univ.)
第5著者 氏名(和/英/ヨミ) / /
第5著者 所属(和/英) (略称: )
(略称: )
第6著者 氏名(和/英/ヨミ) / /
第6著者 所属(和/英) (略称: )
(略称: )
第7著者 氏名(和/英/ヨミ) / /
第7著者 所属(和/英) (略称: )
(略称: )
第8著者 氏名(和/英/ヨミ) / /
第8著者 所属(和/英) (略称: )
(略称: )
第9著者 氏名(和/英/ヨミ) / /
第9著者 所属(和/英) (略称: )
(略称: )
第10著者 氏名(和/英/ヨミ) / /
第10著者 所属(和/英) (略称: )
(略称: )
第11著者 氏名(和/英/ヨミ) / /
第11著者 所属(和/英) (略称: )
(略称: )
第12著者 氏名(和/英/ヨミ) / /
第12著者 所属(和/英) (略称: )
(略称: )
第13著者 氏名(和/英/ヨミ) / /
第13著者 所属(和/英) (略称: )
(略称: )
第14著者 氏名(和/英/ヨミ) / /
第14著者 所属(和/英) (略称: )
(略称: )
第15著者 氏名(和/英/ヨミ) / /
第15著者 所属(和/英) (略称: )
(略称: )
第16著者 氏名(和/英/ヨミ) / /
第16著者 所属(和/英) (略称: )
(略称: )
第17著者 氏名(和/英/ヨミ) / /
第17著者 所属(和/英) (略称: )
(略称: )
第18著者 氏名(和/英/ヨミ) / /
第18著者 所属(和/英) (略称: )
(略称: )
第19著者 氏名(和/英/ヨミ) / /
第19著者 所属(和/英) (略称: )
(略称: )
第20著者 氏名(和/英/ヨミ) / /
第20著者 所属(和/英) (略称: )
(略称: )
講演者
発表日時 2019-03-15 14:55:00 
発表時間 25 
申込先研究会 NLP 
資料番号 IEICE-NLP2018-137 
巻番号(vol) IEICE-118 
号番号(no) no.498 
ページ範囲 pp.69-74 
ページ数 IEICE-6 
発行日 IEICE-NLP-2019-03-07 


[研究会発表申込システムのトップページに戻る]

[電子情報通信学会ホームページ]


IEICE / 電子情報通信学会