| 講演名 | 2009-03-11 MCMCサンプルを中心に持つ混合正規分布の最適化による確率的複雑さの計算法 比護 貴之, 永田 賢二, 渡辺 澄夫, |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | ベイズ学習において確率的複雑さは,学習モデルやハイパーパラメータの最適化に用いられる規準である.しかしながら,マルコフ連鎖モンテカルロ法(MCMC法)により事後分布に従うパラメータのランダムサンプルが得られても,それだけでは確率的複雑さを計算することはできず,従来は,複数の温度についての事後確率分布をMCMC法で計算して和を取る方式で計算されていた.本論文では,事後分布に従うMCMCサンプルだけから確率的複雑さを計算する新しい方法を提案する.この方法はMCMCサンプルをコンポーネントの中心に持つ混合正規分布で事後確率を近似する方法であり,各正規分布の分散は,変分ベイズ法と同じ規準によって最適化される.実験においては特異モデルの事後分布の近似問題を扱い,特異モデルの確率的複雑さの計算における精度を検討した. |
| 抄録(英) | Stochastic complexity is a criterion for model selection and determination of hyper parameters in Bayesian learning. If samples following the posterior distribution are obtained, however it is not easy to calculate its stochastic complexity. Therefore, conventional manners calculate the posterior distribution several times with changing the temperature parameter through Markov chain Monte Carlo method (MCMC). Towards efficient calculation of stochastic complexity, this paper proposes a novel method where multiple Gaussian components centered on each sample generated by MCMC are built and then the covariances of them are optimized so that the mixture of them approximates the Bayesian posterior distribution in terms of Kullback-Leibler divergence, which is employed also by variational Bayesian method. This paper reveals the effectiveness of the method for singular models through experimental comparison between numerical calculation results and theoretical ones. |
| キーワード(和) | ベイズ推定 / 確率的複雑さ / 自由エネルギー / マルコフ連鎖モンテカルロ法 |
| キーワード(英) | Bayesian inference / stochastic complexty / free energy / Markov chain Monte Carlo method |
| 資料番号 | NC2008-112 |
| 発行日 |
| 研究会情報 | |
| 研究会 | NC |
|---|---|
| 開催期間 | 2009/3/4(から1日開催) |
| 開催地（和） | |
| 開催地（英） | |
| テーマ（和） | |
| テーマ（英） | |
| 委員長氏名（和） | |
| 委員長氏名（英） | |
| 副委員長氏名（和） | |
| 副委員長氏名（英） | |
| 幹事氏名（和） | |
| 幹事氏名（英） | |
| 幹事補佐氏名（和） | |
| 幹事補佐氏名（英） | |
| 講演論文情報詳細 | |
| 申込み研究会 | Neurocomputing (NC) |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | MCMCサンプルを中心に持つ混合正規分布の最適化による確率的複雑さの計算法 |
| サブタイトル（和） | |
| タイトル（英） | Numerical Calculation of Stochastic Complexties through Optimization of Gaussian Mixture centered on MCMC Samples |
| サブタイトル（和） | |
| キーワード(1)（和/英） | ベイズ推定 / Bayesian inference |
| キーワード(2)（和/英） | 確率的複雑さ / stochastic complexty |
| キーワード(3)（和/英） | 自由エネルギー / free energy |
| キーワード(4)（和/英） | マルコフ連鎖モンテカルロ法 / Markov chain Monte Carlo method |
| 第 1 著者 氏名（和/英） | 比護 貴之 / Takayuki HIGO |
| 第 1 著者 所属（和/英） | 東京工業大学精密工学研究所 PI Lab., Tokyo Institute of Technology |
| 第 2 著者 氏名（和/英） | 永田 賢二 / Kenji NAGATA |
| 第 2 著者 所属（和/英） | 東京工業大学精密工学研究所 PI Lab., Tokyo Institute of Technology |
| 第 3 著者 氏名（和/英） | 渡辺 澄夫 / Sumio WATANABE |
| 第 3 著者 所属（和/英） | 東京工業大学精密工学研究所 PI Lab., Tokyo Institute of Technology |
| 発表年月日 | 2009-03-11 |
| 資料番号 | NC2008-112 |
| 巻番号（vol） | vol.108 |
| 号番号（no） | 480 |
| ページ範囲 | pp.- |
| ページ数 | 6 |
| 発行日 | |