| 講演名 | 2009-07-14 ノードパータベーション学習の統計力学(脳活動の計測と解析,生命現象の非線形性,一般) 原 一之, 片平 健太郎, 岡ノ谷 一夫, 岡田 真人, |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | ノードパータベーション学習は確率的勾配法の一つであり,目的関数を定式化できない問題にも適用できる利点がある.Werfelらはノードパータベーション学習の理論的な解析を誤差の入力平均の離散時間発展方程式である学習曲線を求めており,これにより入力や出力次元が有限な場合の誤差の解析が可能である.一方,我々は統計力学的手法により系の巨視的変数の決定論的な方程式を導出し,それらを用いて汎化誤差の解析を行った.その結果,出力数が増加したときに1出力当たりの汎化誤差が大きくなる原因が,他の出力の誤差によるクロストークノイズであることを明らかにした.また,Werfelらの学習曲線を熱力学的極限では我々の導出した汎化誤差と一致することを示した. |
| 抄録(英) | Node-perturbation learning is a stochastic gradient method, and it can apply to the problem where the objective function is not defined. Werfel gave the theoretical analysis of node-perturbation as a desecrate time learning curve obtained by averaging the error for possible inputs. On the other hand, we derive deterministic equations of the order parameters, which depict behavior of node-perturbation learning by using statistical mechanics method, and treated the generalization error as a function of the order parameters. From our analysis, we found the generalization error becomes large when number of outputs of the network becomes large through the cross-talk noise of the other outputs. We also found that Werfel's learning curve is identical to the generalization error when the thermodynamic limit is assumed. |
| キーワード(和) | ノードパータベーション学習 / 汎化誤差 / 統計力学的手法 / 線形パーセプトロン |
| キーワード(英) | Node-perturbation learning / generalization error / statistical mechanics method / linear perceptron |
| 資料番号 | NLP2009-38,NC2009-31 |
| 発行日 |
| 研究会情報 | |
| 研究会 | NC |
|---|---|
| 開催期間 | 2009/7/6(から1日開催) |
| 開催地（和） | |
| 開催地（英） | |
| テーマ（和） | |
| テーマ（英） | |
| 委員長氏名（和） | |
| 委員長氏名（英） | |
| 副委員長氏名（和） | |
| 副委員長氏名（英） | |
| 幹事氏名（和） | |
| 幹事氏名（英） | |
| 幹事補佐氏名（和） | |
| 幹事補佐氏名（英） | |
| 講演論文情報詳細 | |
| 申込み研究会 | Neurocomputing (NC) |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | ノードパータベーション学習の統計力学(脳活動の計測と解析,生命現象の非線形性,一般) |
| サブタイトル（和） | |
| タイトル（英） | Statistical Mechanics of Node-perturbation leraning |
| サブタイトル（和） | |
| キーワード(1)（和/英） | ノードパータベーション学習 / Node-perturbation learning |
| キーワード(2)（和/英） | 汎化誤差 / generalization error |
| キーワード(3)（和/英） | 統計力学的手法 / statistical mechanics method |
| キーワード(4)（和/英） | 線形パーセプトロン / linear perceptron |
| 第 1 著者 氏名（和/英） | 原 一之 / Kazuyuki HARA |
| 第 1 著者 所属（和/英） | 東京都立産業技術高等専門学校ものづくり工学科 Tokyo Metropolitan College of Industrial Engineering |
| 第 2 著者 氏名（和/英） | 片平 健太郎 / Kentaro KATAHIRA |
| 第 2 著者 所属（和/英） | 東京大学大学院新領域創成科学研究科:理化学研究所脳科学総合研究センター:科学技術振興機構ERATO岡ノ谷情動情報プロジェクト The University of Tokyo:Riken:Japan Science Technology Agency, ERATO Okanoya Emotional Information Project |
| 第 3 著者 氏名（和/英） | 岡ノ谷 一夫 / Kazuo OKANOYA |
| 第 3 著者 所属（和/英） | 理化学研究所脳科学総合研究センター:科学技術振興機構ERATO岡ノ谷情動情報プロジェクト Riken:Japan Science Technology Agency, ERATO Okanoya Emotional Information Project |
| 第 4 著者 氏名（和/英） | 岡田 真人 / Masato OKADA |
| 第 4 著者 所属（和/英） | 東京大学大学院新領域創成科学研究科:理化学研究所脳科学総合研究センター:科学技術振興機構ERATO岡ノ谷情動情報プロジェクト The University of Tokyo:Riken:Japan Science Technology Agency, ERATO Okanoya Emotional Information Project |
| 発表年月日 | 2009-07-14 |
| 資料番号 | NLP2009-38,NC2009-31 |
| 巻番号（vol） | vol.109 |
| 号番号（no） | 125 |
| ページ範囲 | pp.- |
| ページ数 | 6 |
| 発行日 | |