| 講演名 | 2008-06-27 適応的自然勾配法の特異モデル学習への適用(一般,機械学習によるバイオデータマインニング・生命現象の非線形性,一般) 西村 佳也, 井上 真郷, |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 特異モデルの学習では特異点においてFisher情報行列が縮退してしまうことが知られている.このため,幅広い適用範囲を持つ適応的自然勾配法においても,推定逆行列が発散するという形で破綻をきたすことが問題となっていた.本研究では,破綻の原因の一側面が数値精度に由来することに着目し,特異モデルであっても破綻をきたさない汎用的な枠組みを考案した.この結果,適応的自然勾配法の学習速度をあまり悪化させることなく,また,計算量のオーダーを同じに保ったまま,特異モデルでの学習を可能とした.また,具体例としてソフトコミティーマシンにより提案手法を検証した. |
| 抄録(英) | Fisher information matrix degenerates at singular points in singular learning machines (SLM). Therefore, the adaptive natural gradient descent (ANGD) breaks down because the estimated inverse Fisher information matrix is diverged. In this research, we propose a general method avoiding the divergence of the Fisher information matrix by focusing on one aspect of this problem, i.e., the divergence is caused by the limit of the numerical precision. We have validated the proposed method using soft committee machines. Compared to the original ANGD, the proposed method successfully avoided the divergence without any significant degradation of both the training speed and the calculation cost. |
| キーワード(和) | 適応的自然勾配法 / 特異モデル / ソフトコミティーマシン |
| キーワード(英) | adaptive natural gradient descent / singular learning machine / soft committee machine |
| 資料番号 | NC2008-25 |
| 発行日 |
| 研究会情報 | |
| 研究会 | NC |
|---|---|
| 開催期間 | 2008/6/19(から1日開催) |
| 開催地（和） | |
| 開催地（英） | |
| テーマ（和） | |
| テーマ（英） | |
| 委員長氏名（和） | |
| 委員長氏名（英） | |
| 副委員長氏名（和） | |
| 副委員長氏名（英） | |
| 幹事氏名（和） | |
| 幹事氏名（英） | |
| 幹事補佐氏名（和） | |
| 幹事補佐氏名（英） | |
| 講演論文情報詳細 | |
| 申込み研究会 | Neurocomputing (NC) |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 適応的自然勾配法の特異モデル学習への適用(一般,機械学習によるバイオデータマインニング・生命現象の非線形性,一般) |
| サブタイトル（和） | |
| タイトル（英） | Application of Adaptive Natural Gradient Descent to Singular Learning Machines |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 適応的自然勾配法 / adaptive natural gradient descent |
| キーワード(2)（和/英） | 特異モデル / singular learning machine |
| キーワード(3)（和/英） | ソフトコミティーマシン / soft committee machine |
| 第 1 著者 氏名（和/英） | 西村 佳也 / Yoshiya NISHIMURA |
| 第 1 著者 所属（和/英） | 早稲田大学大学院先進理工学研究科電気・情報生命専攻 Dept. of Electrical Engineering and Bioscience, Graduate School of Advanced Science and Engineering, Waseda University |
| 第 2 著者 氏名（和/英） | 井上 真郷 / Masato INOUE |
| 第 2 著者 所属（和/英） | 早稲田大学大学院先進理工学研究科電気・情報生命専攻 Dept. of Electrical Engineering and Bioscience, Graduate School of Advanced Science and Engineering, Waseda University |
| 発表年月日 | 2008-06-27 |
| 資料番号 | NC2008-25 |
| 巻番号（vol） | vol.108 |
| 号番号（no） | 101 |
| ページ範囲 | pp.- |
| ページ数 | 5 |
| 発行日 | |