| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2009-03-11 16:10 MCMCサンプルを中心に持つ混合正規分布の最適化による確率的複雑さの計算法 ○比護貴之・永田賢二・渡辺澄夫（東工大）  NC2008-112 |
|
| 抄録 | （和） | ベイズ学習において確率的複雑さは，学習モデルやハイパーパラメータの 最適化に用いられる規準である．しかしながら，マルコフ連鎖モンテカルロ法（MCMC法）により 事後分布に従うパラメータのランダムサンプルが得られても，それだけでは 確率的複雑さを計算することはできず，従来は，複数の温度についての 事後確率分布をMCMC法で計算して和を取る方式で計算されていた． 本論文では，事後分布に従うMCMCサンプルだけから確率的複雑さを 計算する新しい方法を提案する．この方法はMCMCサンプルをコンポーネントの 中心に持つ混合正規分布で事後確率を近似する方法であり， 各正規分布の分散は，変分ベイズ法と同じ規準によって最適化される． 実験においては特異モデルの事後分布の近似問題を扱い，特異モデルの 確率的複雑さの計算における精度を検討した． |
| （英） | Stochastic complexity is a criterion for model selection and determination of hyper parameters in Bayesian learning．If samples following the posterior distribution are obtained, however it is not easy to calculate its stochastic complexity. Therefore, conventional manners calculate the posterior distribution several times with changing the temperature parameter through Markov chain Monte Carlo method (MCMC). Towards efficient calculation of stochastic complexity, this paper proposes a novel method where multiple Gaussian components centered on each sample generated by MCMC are built and then the covariances of them are optimized so that the mixture of them approximates the Bayesian posterior distribution in terms of Kullback-Leibler divergence, which is employed also by variational Bayesian method. This paper reveals the effectiveness of the method for singular models through experimental comparison between numerical calculation results and theoretical ones. |
|
| キーワード | （和） | ベイズ推定 / 確率的複雑さ / 自由エネルギー / マルコフ連鎖モンテカルロ法 / / / / |
| （英） | Bayesian inference / stochastic complexity / free energy / Markov chain Monte carlo method / / / / | |
| 文献情報 | 信学技報, vol. 108, no. 480, NC2008-112, pp. 51-56, 2009年3月. | |
| 資料番号 | NC2008-112 | |
| 発行日 | 2009-03-04 (NC) | |
| ISSN | Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | NC2008-112 |
|
| 研究会情報 | |
| 研究会 | NC MBE |
| 開催期間 | 2009-03-11 - 2009-03-13 |
| 開催地（和） | 玉川大学 |
| 開催地（英） | Tamagawa Univ. |
| テーマ（和） | 一般 |
| テーマ（英） | |
| 講演論文情報の詳細 | |
| 申込み研究会 | NC |
| 会議コード | 2009-03-NC-MBE |
| 本文の言語 | 日本語 |
| タイトル（和） | MCMCサンプルを中心に持つ混合正規分布の最適化による確率的複雑さの計算法 |
| サブタイトル（和） | |
| タイトル（英） | Numerical Calculation of Stochastic Complexties through Optimization of Gaussian Mixture centered on MCMC Samples |
| サブタイトル（英） | |
| キーワード(1)（和/英） | ベイズ推定 / Bayesian inference |
| キーワード(2)（和/英） | 確率的複雑さ / stochastic complexity |
| キーワード(3)（和/英） | 自由エネルギー / free energy |
| キーワード(4)（和/英） | マルコフ連鎖モンテカルロ法 / Markov chain Monte carlo method |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 比護 貴之 / Takayuki Higo / ヒゴ タカユキ |
| 第1著者 所属（和/英） | 東京工業大学 (略称： 東工大) Tokyo Institute of Technology (略称： Tokyo Inst. of Tech.) |
| 第2著者 氏名（和/英/ヨミ） | 永田 賢二 / Kenji Nagata / ナガタ ケンジ |
| 第2著者 所属（和/英） | 東京工業大学 (略称： 東工大) Tokyo Institute of Technology (略称： Tokyo Inst. of Tech.) |
| 第3著者 氏名（和/英/ヨミ） | 渡辺 澄夫 / Sumio Watanabe / ワタナベ スミオ |
| 第3著者 所属（和/英） | 東京工業大学 (略称： 東工大) Tokyo Institute of Technology (略称： Tokyo Inst. of Tech.) |
| 第4著者 氏名（和/英/ヨミ） | / / |
| 第4著者 所属（和/英） | (略称： ) (略称： ) |
| 第5著者 氏名（和/英/ヨミ） | / / |
| 第5著者 所属（和/英） | (略称： ) (略称： ) |
| 第6著者 氏名（和/英/ヨミ） | / / |
| 第6著者 所属（和/英） | (略称： ) (略称： ) |
| 第7著者 氏名（和/英/ヨミ） | / / |
| 第7著者 所属（和/英） | (略称： ) (略称： ) |
| 第8著者 氏名（和/英/ヨミ） | / / |
| 第8著者 所属（和/英） | (略称： ) (略称： ) |
| 第9著者 氏名（和/英/ヨミ） | / / |
| 第9著者 所属（和/英） | (略称： ) (略称： ) |
| 第10著者 氏名（和/英/ヨミ） | / / |
| 第10著者 所属（和/英） | (略称： ) (略称： ) |
| 第11著者 氏名（和/英/ヨミ） | / / |
| 第11著者 所属（和/英） | (略称： ) (略称： ) |
| 第12著者 氏名（和/英/ヨミ） | / / |
| 第12著者 所属（和/英） | (略称： ) (略称： ) |
| 第13著者 氏名（和/英/ヨミ） | / / |
| 第13著者 所属（和/英） | (略称： ) (略称： ) |
| 第14著者 氏名（和/英/ヨミ） | / / |
| 第14著者 所属（和/英） | (略称： ) (略称： ) |
| 第15著者 氏名（和/英/ヨミ） | / / |
| 第15著者 所属（和/英） | (略称： ) (略称： ) |
| 第16著者 氏名（和/英/ヨミ） | / / |
| 第16著者 所属（和/英） | (略称： ) (略称： ) |
| 第17著者 氏名（和/英/ヨミ） | / / |
| 第17著者 所属（和/英） | (略称： ) (略称： ) |
| 第18著者 氏名（和/英/ヨミ） | / / |
| 第18著者 所属（和/英） | (略称： ) (略称： ) |
| 講演者 | 第1著者 |
| 発表日時 | 2009-03-11 16:10:00 |
| 発表時間 | 25分 |
| 申込先研究会 | NC |
| 資料番号 | NC2008-112 |
| 巻番号（vol） | vol.108 |
| 号番号（no） | no.480 |
| ページ範囲 | pp.51-56 |
| ページ数 | 6 |
| 発行日 | 2009-03-04 (NC) |
[研究会発表申込システムのトップページに戻る]