| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2011-03-08 13:20 神経回路網の学習におけるパラメータ配置の最適化法 ○山田耕史・渡辺澄夫（東工大）  NC2010-175 |
|
| 抄録 | （和） | 神経回路網のように階層構造を持つ学習モデルでは、 パラメータの集合と確率モデルの集合が一対一に対応せず、 サンプルが増えても尤度関数が正規分布に近づかないため、 統計的正則モデルの理論を適用できず、汎化誤差を小さく するようにパラメータの集合を配置することは困難であった。 本研究では、二乗誤差についての最急降下法を最適停止した後に WAICを最小にするように確率変数を加えることにより 最適なパラメータの配置を作る方法を提案し、提案手法により ベイズ事後分布を用いたときと同等の学習精度が得られること を明らかにする。 |
| （英） | To statistical learning machines with hierarchical structure such as layered neural networks, statistical theory of regular models can not be applied, because the correspondence between parameters and probability models is not one-to-one and the likelihood function does not asymptotically converge to the normal distribution. Therefore it has been difficult to make the distribution of parameters so as to make the generalization error smaller. In this study, we propose an optimal design method of parameter distribution by using widely applicable information criterion(WAIC). The proposed method consists of two parts. Firstly steepest descent dynamics of the squared error is stopped using cross-validation and then distribute parameters by adding random variables by minimizing WAIC. We show experimentally that the proposed method attains the equivalent generalization error to the theoretical one by bayesian learning. |
|
| キーワード | （和） | 神経回路網モデル / 学習の状態方程式 / 特異点 / WAIC / / / / |
| （英） | Neural network model / Equation of states in statistical learning / singularity / WAIC / / / / | |
| 文献情報 | 信学技報, vol. 110, no. 461, NC2010-175, pp. 283-288, 2011年3月. | |
| 資料番号 | NC2010-175 | |
| 発行日 | 2011-02-28 (NC) | |
| ISSN | Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | NC2010-175 |
|
| 研究会情報 | |
| 研究会 | NC MBE |
| 開催期間 | 2011-03-07 - 2011-03-09 |
| 開催地（和） | 玉川大学 |
| 開催地（英） | Tamagawa University |
| テーマ（和） | 一般 |
| テーマ（英） | |
| 講演論文情報の詳細 | |
| 申込み研究会 | NC |
| 会議コード | 2011-03-NC-MBE |
| 本文の言語 | 日本語 |
| タイトル（和） | 神経回路網の学習におけるパラメータ配置の最適化法 |
| サブタイトル（和） | |
| タイトル（英） | Optimal Design Method of Parameter Distribution in Neural Network Learning |
| サブタイトル（英） | |
| キーワード(1)（和/英） | 神経回路網モデル / Neural network model |
| キーワード(2)（和/英） | 学習の状態方程式 / Equation of states in statistical learning |
| キーワード(3)（和/英） | 特異点 / singularity |
| キーワード(4)（和/英） | WAIC / WAIC |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 山田 耕史 / Koshi Yamada / ヤマダ コウシ |
| 第1著者 所属（和/英） | 東京工業大学 (略称： 東工大) Tokyo Institute of Technology (略称： titech) |
| 第2著者 氏名（和/英/ヨミ） | 渡辺 澄夫 / Sumio Watanabe / ワタナベ スミオ |
| 第2著者 所属（和/英） | 東京工業大学 (略称： 東工大) Tokyo Institute of Technology (略称： titech) |
| 第3著者 氏名（和/英/ヨミ） | / / |
| 第3著者 所属（和/英） | (略称： ) (略称： ) |
| 第4著者 氏名（和/英/ヨミ） | / / |
| 第4著者 所属（和/英） | (略称： ) (略称： ) |
| 第5著者 氏名（和/英/ヨミ） | / / |
| 第5著者 所属（和/英） | (略称： ) (略称： ) |
| 第6著者 氏名（和/英/ヨミ） | / / |
| 第6著者 所属（和/英） | (略称： ) (略称： ) |
| 第7著者 氏名（和/英/ヨミ） | / / |
| 第7著者 所属（和/英） | (略称： ) (略称： ) |
| 第8著者 氏名（和/英/ヨミ） | / / |
| 第8著者 所属（和/英） | (略称： ) (略称： ) |
| 第9著者 氏名（和/英/ヨミ） | / / |
| 第9著者 所属（和/英） | (略称： ) (略称： ) |
| 第10著者 氏名（和/英/ヨミ） | / / |
| 第10著者 所属（和/英） | (略称： ) (略称： ) |
| 第11著者 氏名（和/英/ヨミ） | / / |
| 第11著者 所属（和/英） | (略称： ) (略称： ) |
| 第12著者 氏名（和/英/ヨミ） | / / |
| 第12著者 所属（和/英） | (略称： ) (略称： ) |
| 第13著者 氏名（和/英/ヨミ） | / / |
| 第13著者 所属（和/英） | (略称： ) (略称： ) |
| 第14著者 氏名（和/英/ヨミ） | / / |
| 第14著者 所属（和/英） | (略称： ) (略称： ) |
| 第15著者 氏名（和/英/ヨミ） | / / |
| 第15著者 所属（和/英） | (略称： ) (略称： ) |
| 第16著者 氏名（和/英/ヨミ） | / / |
| 第16著者 所属（和/英） | (略称： ) (略称： ) |
| 第17著者 氏名（和/英/ヨミ） | / / |
| 第17著者 所属（和/英） | (略称： ) (略称： ) |
| 第18著者 氏名（和/英/ヨミ） | / / |
| 第18著者 所属（和/英） | (略称： ) (略称： ) |
| 講演者 | 第1著者 |
| 発表日時 | 2011-03-08 13:20:00 |
| 発表時間 | 25分 |
| 申込先研究会 | NC |
| 資料番号 | NC2010-175 |
| 巻番号（vol） | vol.110 |
| 号番号（no） | no.461 |
| ページ範囲 | pp.283-288 |
| ページ数 | 6 |
| 発行日 | 2011-02-28 (NC) |
[研究会発表申込システムのトップページに戻る]