| 講演名 | 2005/3/23 混合指数型分布の変分ベイズ学習における確率的複雑さ 渡辺 一帆, 渡辺 澄夫, |
|---|---|
| PDFダウンロードページ | PDFダウンロードページへ |
| 抄録(和) | 変分ベイズ法はベイズ学習の一つの近似手法として提案され、少ない計算量と、その有効性が多くの実問題を通じて検証されてきた。しかしながら、近似精度や汎化性能といった変分ベイズ法自体の理論的性質は未だに不明な部分が多い。本研究では、指数型分布族の混合モデルの変分ベイズ学習について考察し、確率的複雑さの上界と下界を与える。混合分布モデルの真のベイズ法における確率的複雑さと比較することで、変分ベイズ法の近似法としての精度について議論する。 |
| 抄録(英) | The Variational Bayes learning, proposed as an approximation of the Bayesian learning, has provided computational tractability and good generalization performance in many applications. However, little has been done to investigate its theoretical properties. In this paper, we discuss the Variational Bayes learning of the mixture of exponential families and derive the upper and lower bounds of the stochastic complexities or the marginal likelihoods. We show that the stochastic complexities become smaller than those of regular statistical models, which means the advantage of the Bayesian learning still remains in the Variational Bayes learning. |
| キーワード(和) | 混合分布 / 変分ベイズ学習 / 確率的複雑さ / 特異モデル |
| キーワード(英) | Mixture Model / Variational Bayes Learning / Stochastic Complexity / Singular Statistical Model |
| 資料番号 | NC2004-211 |
| 発行日 |
| 研究会情報 | |
| 研究会 | NC |
|---|---|
| 開催期間 | 2005/3/23(から1日開催) |
| 開催地（和） | |
| 開催地（英） | |
| テーマ（和） | |
| テーマ（英） | |
| 委員長氏名（和） | |
| 委員長氏名（英） | |
| 副委員長氏名（和） | |
| 副委員長氏名（英） | |
| 幹事氏名（和） | |
| 幹事氏名（英） | |
| 幹事補佐氏名（和） | |
| 幹事補佐氏名（英） | |
| 講演論文情報詳細 | |
| 申込み研究会 | Neurocomputing (NC) |
|---|---|
| 本文の言語 | ENG |
| タイトル（和） | 混合指数型分布の変分ベイズ学習における確率的複雑さ |
| サブタイトル（和） | |
| タイトル（英） | Stochastic Complexities for Mixture of Exponential Family in Variational Bayes Approach |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 混合分布 / Mixture Model |
| キーワード(2)（和/英） | 変分ベイズ学習 / Variational Bayes Learning |
| キーワード(3)（和/英） | 確率的複雑さ / Stochastic Complexity |
| キーワード(4)（和/英） | 特異モデル / Singular Statistical Model |
| 第 1 著者 氏名（和/英） | 渡辺 一帆 / Kazuho WATANABE |
| 第 1 著者 所属（和/英） | 東京工業大学大学院総合理工学研究科 Department of Computational Intelligence and Systems Science, Tokyo Institute of Technology |
| 第 2 著者 氏名（和/英） | 渡辺 澄夫 / Sumio WATANABE |
| 第 2 著者 所属（和/英） | 東京工業大学精密工学研究所 P&I Lab, Tokyo Institute of Technology |
| 発表年月日 | 2005/3/23 |
| 資料番号 | NC2004-211 |
| 巻番号（vol） | vol.104 |
| 号番号（no） | 760 |
| ページ範囲 | pp.- |
| ページ数 | 6 |
| 発行日 | |