| 講演名 | 2011-03-11 改良型オンライン準ニュートン法に対する学習データの与え方の影響に関する考察 阿倍 俊和, 坂下 義彦, 二宮 洋, |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | ニューラルネットワークの学習に対して,勾配法に基づくアルゴリズムが様々提案されている.その中で,学習データの与え方に関する研究として,オンライン学習法及びバッチ学習法に関する研究がある.近年,準ニュートン法に対して学習データの与え方を改良した改良型オンライン準ニュートン法が提案された.オンライン学習及びバッチ学習法よりも収束性が大幅に向上することが示された.本研究では様々な勾配系アルゴリズムに対して学習データの与え方を改良する手法に適用し,その有効性に関して検証する.さらに,学習データの与え方にランダム性を付与した場合の収束性への影響に関して,シミュレーションを用いて検証する. |
| 抄録(英) | Various techniques based on the gradient descent method have been studied as training algorithms for neural networks. Neural network training poses data-driven optimization problems in which the objective function involves the summation of loss terms over a set of data to be modeled. For a given set of training data, the gradient-based algorithms operate in one of two modes: stochastic (online) or batch. Recently, the robust training algorithm based on quasi-Newton method has been introduced improving the feeding-technique of training data. The algorithm combines the "stochastic (online)" mode with the "batch" one. In this paper the improved feeding-technique of training data is applied to the other gradient-based training algorithms. Moreover, the convergence properties of the improved feeding-technique of training data to the effect on randomsize feeding method are studied through the computer simulations. |
| キーワード(和) | アルゴリズム / ニューラルネットワーク / オンライン学習法 / バッチ学習法 |
| キーワード(英) | neural networks / learning training algorithm / online training method / batch training method |
| 資料番号 | NLP2010-192 |
| 発行日 |
| 研究会情報 | |
| 研究会 | NLP |
|---|---|
| 開催期間 | 2011/3/3(から1日開催) |
| 開催地（和） | |
| 開催地（英） | |
| テーマ（和） | |
| テーマ（英） | |
| 委員長氏名（和） | |
| 委員長氏名（英） | |
| 副委員長氏名（和） | |
| 副委員長氏名（英） | |
| 幹事氏名（和） | |
| 幹事氏名（英） | |
| 幹事補佐氏名（和） | |
| 幹事補佐氏名（英） | |
| 講演論文情報詳細 | |
| 申込み研究会 | Nonlinear Problems (NLP) |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 改良型オンライン準ニュートン法に対する学習データの与え方の影響に関する考察 |
| サブタイトル（和） | |
| タイトル（英） | A study on Effect of Feeding Method of Training Data in Improved online quasi-Newton Training Algorithm |
| サブタイトル（和） | |
| キーワード(1)（和/英） | アルゴリズム / neural networks |
| キーワード(2)（和/英） | ニューラルネットワーク / learning training algorithm |
| キーワード(3)（和/英） | オンライン学習法 / online training method |
| キーワード(4)（和/英） | バッチ学習法 / batch training method |
| 第 1 著者 氏名（和/英） | 阿倍 俊和 / Toshikazu ABE |
| 第 1 著者 所属（和/英） | 湘南工科大学大学院工学研究科電気情報工学専攻 Graduate school of Electrical and Information Engineering, Shonan Institute of Technology |
| 第 2 著者 氏名（和/英） | 坂下 義彦 / Yoshihiko SAKASHITA |
| 第 2 著者 所属（和/英） | 湘南工科大学工学部情報工学科 Department of Information Science, Faculty of Engineering, Shonan Institute of Technology |
| 第 3 著者 氏名（和/英） | 二宮 洋 / Hiroshi NINOMIYA |
| 第 3 著者 所属（和/英） | 湘南工科大学工学部情報工学科 Department of Information Science, Faculty of Engineering, Shonan Institute of Technology |
| 発表年月日 | 2011-03-11 |
| 資料番号 | NLP2010-192 |
| 巻番号（vol） | vol.110 |
| 号番号（no） | 465 |
| ページ範囲 | pp.- |
| ページ数 | 6 |
| 発行日 | |