| 講演名 | 2013-07-19 2個の独立なノイズを用いたノードパータベーション学習の統計力学 原 一之, 片平 健太郎, 岡田 真人, |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | ノードパータベーション学習は確率的勾配法の一つである。ノードパータベーション学習では,ネットワーク出力にノイズを加えないときとノイズを加えたときの評価の変化から勾配を推定する。しかし,ノイズを加えないときの評価を用いるため,現実のシステムへの適応が難しい.長らは2 個の独立なノイズが与えられる場合のノードパータベーション学習を提案しており,1個のノイズを用いた方法より現実的である.本報告では長らが提案した,2個の独立なノイズを用いたノードパータベーション学習の統計力学を構築し,学習の挙動を詳しく解析した.その結果,2個のノイズを用いた場合,誤差の緩和時間が遅くなるが,残留誤差が小さくなることがわかった. |
| 抄録(英) | Node perturbation learning is a stochastic gradient descent method for neural networks. It estimates the gradient by comparing an evaluation of the perturbed output and the unperturbed output performance, which we call the baseline. However, the unperturbed performance is a difficult setting. Cho et al. proposed node-perturbation using two independent noises, and it is tractable for real problem. In this report, we analyze the node-perturbation learning using two independent noises by using statistical mechanics methods. From the results, we find that the residual error becomes small compared to the original one when the variance of two noises is the same. |
| キーワード(和) | ノードパータベーション学習 / 2個の独立なノイズ / オンライン学習 / 汎化誤差 / 統計力学的手法 |
| キーワード(英) | node-perturbation learning / two independent noises / on-line learning / generalization error / statistical mechanics method |
| 資料番号 | NC2013-17 |
| 発行日 |
| 研究会情報 | |
| 研究会 | NC |
|---|---|
| 開催期間 | 2013/7/12(から1日開催) |
| 開催地（和） | |
| 開催地（英） | |
| テーマ（和） | |
| テーマ（英） | |
| 委員長氏名（和） | |
| 委員長氏名（英） | |
| 副委員長氏名（和） | |
| 副委員長氏名（英） | |
| 幹事氏名（和） | |
| 幹事氏名（英） | |
| 幹事補佐氏名（和） | |
| 幹事補佐氏名（英） | |
| 講演論文情報詳細 | |
| 申込み研究会 | Neurocomputing (NC) |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 2個の独立なノイズを用いたノードパータベーション学習の統計力学 |
| サブタイトル（和） | |
| タイトル（英） | Statistical Mechanics of node-perturbation Learning using two independent noises |
| サブタイトル（和） | |
| キーワード(1)（和/英） | ノードパータベーション学習 / node-perturbation learning |
| キーワード(2)（和/英） | 2個の独立なノイズ / two independent noises |
| キーワード(3)（和/英） | オンライン学習 / on-line learning |
| キーワード(4)（和/英） | 汎化誤差 / generalization error |
| キーワード(5)（和/英） | 統計力学的手法 / statistical mechanics method |
| 第 1 著者 氏名（和/英） | 原 一之 / Kazuyuki HARA |
| 第 1 著者 所属（和/英） | 日本大学生産工学部電気電子工学科 College of Industrial Engineering, Nihon University |
| 第 2 著者 氏名（和/英） | 片平 健太郎 / Kentaro KATAHIRA |
| 第 2 著者 所属（和/英） | 東京大学大学院総合文化研究進化認知科学研究センター:理化学研究所脳科学総合研究センター Department of Life Sciences, Graduate School of Arts and Sciences, The University of Tokyo:Riken |
| 第 3 著者 氏名（和/英） | 岡田 真人 / Masato OKADA |
| 第 3 著者 所属（和/英） | 東京大学大学院新領域創成科学研究科:理化学研究所脳科学総合研究センター Graduate School of Frontier Sciences, The University of Tokyo:Riken |
| 発表年月日 | 2013-07-19 |
| 資料番号 | NC2013-17 |
| 巻番号（vol） | vol.113 |
| 号番号（no） | 148 |
| ページ範囲 | pp.- |
| ページ数 | 6 |
| 発行日 | |