| 講演名 | 2022-01-21 Hutchinson近似に基づく行列対角化を用いた2次近似勾配学習法に関する研究 山富 龍(湘南工科大), マハブービ シェヘラザード(湘南工科大), 二宮 洋(湘南工科大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 本研究では，ニュートン法の計算コスト削減を目指した新しい2次近似勾配法に基づく学習アルゴリズムを提案する．ニューラルネットワーク(NN)の学習において，1次近似勾配法は計算コストが低いため，一般的に使用されている．しかし，非線形問題の最適化において，1次近似勾配法は解を得る為に多くの反復を必要とし，問題の非線形性の強さによっては現実的な時間で解を得ることができない．一方，この問題に対して有効とされている2次近似勾配法のニュートン法に基づく学習アルゴリズムでは，ヘッセ行列が使用されているため計算コストが高く，大規模な非線形問題に対する学習が困難となる．そこで本研究では，ニュートン法の計算コストを削減に着目し，ヘッセ行列を対角行列に近似できるHutchinson手法に基づく行列対角化手法をニュートン法に導入した新たな学習アルゴリズムHuchinson対角化ニュートン法（HdN)を提案する．提案手法をNNの学習に応用し，その有効性を実験により示す． |
| 抄録(英) | In this study, we propose a new training algorithm based on the second-order approximated gradient method, which aims to reduce the computational cost of the Newton method. In neural network (NN) training, the first-order approximate gradient methods are commonly used because of its low computational cost. However, when applied to highly nonlinear problems, first-order methods still converge too slowly, and optimization error cannot effectively reduced within finite time despite its advantages. On the other hand, the training algorithm based on Newton method which is considered effective for this problem, is computationally expensive because it uses Hessian matrices, making it difficult to train for large-scale nonlinear problems. In this study, we focus on reducing the computational cost of the Newton method and propose a new learning algorithm as Hutchinson diagonalized Newton method (HdN), which is realized by the approximated diagonal Hessian matrix using the diagonal matrix based on Hutchinson estimator. We apply the proposed method to the training of NN, and the performance of the proposed method is demonstrated through computer simulations. |
| キーワード(和) | ニューラルネットワーク / 学習アルゴリズム / ニュートン法 / ヘッセ行列近似法 / Hutchinson手法 |
| キーワード(英) | Neural network / training algorithm / Newton method / hessian approximation scheme / Hutchinson estimator |
| 資料番号 | NLP2021-89,MICT2021-64,MBE2021-50 |
| 発行日 | 2022-01-14 (NLP, MICT, MBE) |
| 研究会情報 | |
| 研究会 | NLP / MICT / MBE / NC |
|---|---|
| 開催期間 | 2022/1/21(から3日開催) |
| 開催地（和） | オンライン開催 |
| 開催地（英） | Online |
| テーマ（和） | NC, ME，MICT，NLP, 一般 |
| テーマ（英） | |
| 委員長氏名（和） | 高坂 拓司(中京大) / 花田 英輔(佐賀大) / 奥野 竜平(摂南大) / 大須 理英子(早大) |
| 委員長氏名（英） | Takuji Kosaka(Chukyo Univ.) / Eisuke Hanada(Saga Univ.) / Ryuhei Okuno(Setsunan Univ.) / Rieko Osu(Waseda Univ.) |
| 副委員長氏名（和） | 常田 明夫(熊本大) / 田中 宏和(広島市大) / 安在 大祐(名工大) / 堀 潤一(新潟大) / 山川 宏(東大) |
| 副委員長氏名（英） | Akio Tsuneda(Kumamoto Univ.) / Hirokazu Tanaka(Hiroshima City Univ.) / Daisuke Anzai(Nagoya Inst. of Tech.) / Junichi Hori(Niigata Univ.) / Hiroshi Yamakawa(Univ of Tokyo) |
| 幹事氏名（和） | 松下 春奈(香川大) / 吉岡 大三郎(崇城大) / 小林 匠(横浜国大) / 石田 開(神奈川県立産業技術総研) / 中村 英夫(大阪電気通信大) / 内部 英治(ATR) / 西田 知史(NICT) |
| 幹事氏名（英） | Haruna Matsushita(Kagawa Univ.) / Daizaburo Yoshioka(Sojo Univ.) / Takumi Kobayashi(Yokohama National Univ.) / Kai Ishida(KISTEC) / Hideo Nakamura(Osaka Electro-Communication Univ) / Eiji Uchibe(ATR) / Satoshi Nishida(NICT) |
| 幹事補佐氏名（和） | 加藤 秀行(大分大) / 横井 裕一(長崎大) / 伊藤 孝弘(広島市立大) / 高林 健人(岡山県立大) / 西川 拓也(国立循環器病研究センター) / 赤澤 淳(明治国際医療大学) / 湯田 恵美(東北大) / 我妻 伸彦(東邦大) / 栗川 知己(関西医科大) |
| 幹事補佐氏名（英） | Hideyuki Kato(Oita Univ.) / Yuichi Yokoi(Nagasaki Univ.) / Takahiro Ito(Hiroshima City Univ) / Kento Takabayashi(Okayama Pref. Univ.) / Takuya Nishikawa(National Cerebral and Cardiovascular Center Hospital) / Jun Akazawa(Meiji Univ. of Integrative Medicine) / Emi Yuda(Tohoku Univ) / Nobuhiko Wagatsuma(Toho Univ.) / Tomoki Kurikawa(KMU) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Nonlinear Problems / Technical Committee on Healthcare and Medical Information Communication Technology / Technical Committee on ME and Bio Cybernetics / Technical Committee on Neurocomputing |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | Hutchinson近似に基づく行列対角化を用いた2次近似勾配学習法に関する研究 |
| サブタイトル（和） | |
| タイトル（英） | On the Study of Second-Order Training Algorithm using Matrix Diagonalization based on Hutchinson estimation |
| サブタイトル（和） | |
| キーワード(1)（和/英） | ニューラルネットワーク / Neural network |
| キーワード(2)（和/英） | 学習アルゴリズム / training algorithm |
| キーワード(3)（和/英） | ニュートン法 / Newton method |
| キーワード(4)（和/英） | ヘッセ行列近似法 / hessian approximation scheme |
| キーワード(5)（和/英） | Hutchinson手法 / Hutchinson estimator |
| 第 1 著者 氏名（和/英） | 山富 龍 / Ryo Yamatomi |
| 第 1 著者 所属（和/英） | 湘南工科大学(略称：湘南工科大) Shonan Institute of Technology(略称：Shonan Inst. Tec.) |
| 第 2 著者 氏名（和/英） | マハブービ シェヘラザード / Shahrzad Mahboubi |
| 第 2 著者 所属（和/英） | 湘南工科大学(略称：湘南工科大) Shonan Institute of Technology(略称：Shonan Inst. Tec.) |
| 第 3 著者 氏名（和/英） | 二宮 洋 / Hiroshi Ninomiya |
| 第 3 著者 所属（和/英） | 湘南工科大学(略称：湘南工科大) Shonan Institute of Technology(略称：Shonan Inst. Tec.) |
| 発表年月日 | 2022-01-21 |
| 資料番号 | NLP2021-89,MICT2021-64,MBE2021-50 |
| 巻番号（vol） | vol.121 |
| 号番号（no） | NLP-335,MICT-336,MBE-337 |
| ページ範囲 | pp.67-70(NLP), pp.67-70(MICT), pp.67-70(MBE), |
| ページ数 | 4 |
| 発行日 | 2022-01-14 (NLP, MICT, MBE) |