| 講演名 | 2022-12-03 Fisher情報行列の固有値分解に基づく勾配法の安定化と高速化 竹内 純一(九大), 武石 啓成(九大), 飯田 昌澄(九大), 村田 昇(早大), 三村 和史(広島市大), 長岡 浩司(電通大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 2層ニューラルネットの最終層の重みパラメータの勾配法による学習について，学習率を大きくしたまま安定させる手法を提案する．結果として，従来より大幅に高速な学習が可能となる．提案手法は，最近筆者らが発見した Fisher 情報行列の固有値グループ化現象を利用して勾配方向を修正する手法である．提案手法の有効性を数値シミュレーションにより確認した結果について報告する． |
| 抄録(英) | We propose a method to stabilize the gradient decent method without decreasing learning rate for two-layer neural networks, which can accelerate learning process as a result. The method is given by modifying the gradient based on the eigenvalue grouping phenomena for the Fisher information matrix, which was discovered by the authors. We report that our method is effective by numerical simulation. |
| キーワード(和) | フィッシャー情報行列 / 固有値分解 / 勾配法 / 学習率 |
| キーワード(英) | fisher information matrix / eigenvalu decomposition / gradient decent / learning rate |
| 資料番号 | MBE2022-39,NC2022-61 |
| 発行日 | 2022-11-26 (MBE, NC) |
| 研究会情報 | |
| 研究会 | MBE / NC |
|---|---|
| 開催期間 | 2022/12/3(から1日開催) |
| 開催地（和） | 大阪電気通信大学 寝屋川キャンパス |
| 開催地（英） | Osaka Electro-Communication University |
| テーマ（和） | NC, ME，一般 |
| テーマ（英） | NC, ME, etc. |
| 委員長氏名（和） | 堀 潤一(新潟大) / 山川 宏(東大) |
| 委員長氏名（英） | Junichi Hori(Niigata Univ.) / Hiroshi Yamakawa(Univ of Tokyo) |
| 副委員長氏名（和） | 吉田 久(近畿大) / 田中 宏和(東京都市大学) |
| 副委員長氏名（英） | Hisashi Yoshida(Kinki Univ.) / Hirokazu Tanaka(Tokyo City Univ.) |
| 幹事氏名（和） | 奥野 竜平(摂南大) / 辛島 彰洋(東北工大) / 寺島 裕貴(NTT) / 西田 知史(NICT) |
| 幹事氏名（英） | Ryuhei Okuno(Setsunan Univ) / Akihiro Karashima(Tohoku Inst. of Tech.) / Hiroki Terashima(NTT) / Satoshi Nishida(NICT) |
| 幹事補佐氏名（和） | 湯田 恵美(東北大) / 金子 美樹(阪大) / 田和辻 可昌(早大) / 栗川 知己(関西医科大) |
| 幹事補佐氏名（英） | Emi Yuda(Tohoku Univ) / Miki Kaneko(Osaka Univ.) / Yoshimasa Tawatsuji(Waseda Univ.) / Tomoki Kurikawa(KMU) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on ME and Bio Cybernetics / Technical Committee on Neurocomputing |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | Fisher情報行列の固有値分解に基づく勾配法の安定化と高速化 |
| サブタイトル（和） | |
| タイトル（英） | Stabilization and Acceleration of Gradient Descent Based on Eigenvalue Decomposition of the Fisher Information Matrix |
| サブタイトル（和） | |
| キーワード(1)（和/英） | フィッシャー情報行列 / fisher information matrix |
| キーワード(2)（和/英） | 固有値分解 / eigenvalu decomposition |
| キーワード(3)（和/英） | 勾配法 / gradient decent |
| キーワード(4)（和/英） | 学習率 / learning rate |
| 第 1 著者 氏名（和/英） | 竹内 純一 / Jun'ichi Takeuchi |
| 第 1 著者 所属（和/英） | 九州大学(略称：九大) Kyushu University(略称：Kyushu Univ.) |
| 第 2 著者 氏名（和/英） | 武石 啓成 / Yoshinari Takeishi |
| 第 2 著者 所属（和/英） | 九州大学(略称：九大) Kyushu University(略称：Kyushu Univ.) |
| 第 3 著者 氏名（和/英） | 飯田 昌澄 / Masazumi Iida |
| 第 3 著者 所属（和/英） | 九州大学(略称：九大) Kyushu University(略称：Kyushu Univ.) |
| 第 4 著者 氏名（和/英） | 村田 昇 / Noboru Murata |
| 第 4 著者 所属（和/英） | 早稲田大学(略称：早大) Waseda University(略称：Waseda Univ.) |
| 第 5 著者 氏名（和/英） | 三村 和史 / Kazushi Mimura |
| 第 5 著者 所属（和/英） | 広島市立大学(略称：広島市大) Hiroshima City University(略称：Hiroshima City Univ.) |
| 第 6 著者 氏名（和/英） | 長岡 浩司 / Hiroshi Nagaoka |
| 第 6 著者 所属（和/英） | 電気通信大学(略称：電通大) University of Electro Communication(略称：Univ. of Electro Communication) |
| 発表年月日 | 2022-12-03 |
| 資料番号 | MBE2022-39,NC2022-61 |
| 巻番号（vol） | vol.122 |
| 号番号（no） | MBE-291,NC-292 |
| ページ範囲 | pp.80-85(MBE), pp.80-85(NC), |
| ページ数 | 6 |
| 発行日 | 2022-11-26 (MBE, NC) |