| 講演名 | 2005/3/23 縮小ランク回帰における変分ベイズ法の汎化誤差について 中島 伸一, 渡辺 澄夫, |
|---|---|
| PDFダウンロードページ | PDFダウンロードページへ |
| 抄録(和) | 神経回路網や混合分布モデルなどの階層モデルにおいては, パラメータを1点に決める最尤法よりもパラメータの事後分布を推定するベイズ法の方が汎化性能の点で優れていることが知られている.しかし, 事後分布を正確に実現しようとするマルコフ連鎖モンテカルロ法は膨大な計算量を必要とする.この問題を解決するために, 関数クラスを限定することによって事後分布の計算を容易にする方法として, 変分ベイズ法が提案された.変分ベイズ法は汎化性能においても優れていることが実験的に確認されているが, その理論値は殆どのモデルにおいて知られていない.本論では, 縮小ランク回帰モデル(3層線形神経回路網)において, 変分ベイズ法がスタイン型打ち切り推定と漸近的に等価であることを示し, その汎化誤差を解明する. |
| 抄録(英) | We prove that the variational Bayes approach in three-layer linear neural networks or reduced-rank regression models is asymptotically equivalent to a Stein type truncated estimation, and then theoretically clarify its generalization error. |
| キーワード(和) | 変分ベイズ / 縮小ランク回帰 / 神経回路網 / スタイン / 縮小推定 / 階層モデル |
| キーワード(英) | variational Bayes / reduced-rank / neural networks / Stein / shrinkage / unidentifiable model |
| 資料番号 | NC2004-213 |
| 発行日 |
| 研究会情報 | |
| 研究会 | NC |
|---|---|
| 開催期間 | 2005/3/23(から1日開催) |
| 開催地（和） | |
| 開催地（英） | |
| テーマ（和） | |
| テーマ（英） | |
| 委員長氏名（和） | |
| 委員長氏名（英） | |
| 副委員長氏名（和） | |
| 副委員長氏名（英） | |
| 幹事氏名（和） | |
| 幹事氏名（英） | |
| 幹事補佐氏名（和） | |
| 幹事補佐氏名（英） | |
| 講演論文情報詳細 | |
| 申込み研究会 | Neurocomputing (NC) |
|---|---|
| 本文の言語 | ENG |
| タイトル（和） | 縮小ランク回帰における変分ベイズ法の汎化誤差について |
| サブタイトル（和） | |
| タイトル（英） | Generalization Error of Variational Bayes Approach in Reduced Rank Regression |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 変分ベイズ / variational Bayes |
| キーワード(2)（和/英） | 縮小ランク回帰 / reduced-rank |
| キーワード(3)（和/英） | 神経回路網 / neural networks |
| キーワード(4)（和/英） | スタイン / Stein |
| キーワード(5)（和/英） | 縮小推定 / shrinkage |
| キーワード(6)（和/英） | 階層モデル / unidentifiable model |
| 第 1 著者 氏名（和/英） | 中島 伸一 / Shinichi NAKAJIMA |
| 第 1 著者 所属（和/英） | 東京工業大学総合理工学研究科:株式会社ニコン Tokyo Institute of Technology:Nikon Corporation |
| 第 2 著者 氏名（和/英） | 渡辺 澄夫 / Sumio WATANABE |
| 第 2 著者 所属（和/英） | 東京工業大学総合理工学研究科 Tokyo Institute of Technology |
| 発表年月日 | 2005/3/23 |
| 資料番号 | NC2004-213 |
| 巻番号（vol） | vol.104 |
| 号番号（no） | 760 |
| ページ範囲 | pp.- |
| ページ数 | 6 |
| 発行日 | |