| 講演名 | 2012-01-27 ベイズ推定における学習係数とメトロポリス法における平均採択率の関係(一般,複雑系とニューロコンピューティング) 永田 賢二, 岡田 真人, |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | ニューラルネットワーク,混合分布モデル,隠れマルコフモデルなどの特異モデルでは,漸近正規性が成り立たないなどの性質から,汎化特性を知ることが困難である.近年,特異モデルの汎化特性を明らかにする方法として,代数幾何学的手法が確立され,特異モデルのベイズ推定における汎化特性を特徴づける学習係数が様々な特異モデルで求められてきた.しかしながら,その手法を適用することは一般に容易ではなく,未だ解明されていないモデルも多い.一方,我々は先行研究において,マルコフ連鎖モンテカルロ法の一つであるメトロポリス法の平均採択率についての理論を構築した.本研究では,先行研究の結果から,ベイズ推定における学習係数とメトロポリス法の平均採択率の間に深い関係があることを示す.このことは,代数幾何学的手法が適用できない確率モデルに対しても学習係数を数値的に求める枠組みを提案できることを示している. |
| 抄録(英) | Singular learning machines such as neural networks, mixture of gaussians and hidden Markov models are difficult to clarify the generalization performance because the asymptotic normality does not hold. In recent studies, the algebraic geometrical method has been established, and clarify the learning coefficient, which characterize the generalization performance, for Bayesian estimation for some singular learning machines. However, applying the algebraic geometrical method is not generally easy, and there are many singular learning machines not to clarify the learning coefficient. On the other hand, in the previous study, we analytically calculate the average of acceptance rate for the Metropolis algorithm, one of the Markov chain Monte Carlo method. In this study, we show that the learning coefficient for Bayesian estimation has a great deal to do with the average of acceptance rate for the Metropolis algorithm. Moreover, we propose a new method to numerically calculate the learning coefficient for the singular learning machine which is difficult to apply the algebraic geometrical method. |
| キーワード(和) | ベイズ推定 / 学習係数 / メトロポリス法 / 平均採択率 |
| キーワード(英) | Bayesian estimation / Learning coefficient / Metropolis algorithm / Average of acceptance rate |
| 資料番号 | NC2011-111 |
| 発行日 |
| 研究会情報 | |
| 研究会 | NC |
|---|---|
| 開催期間 | 2012/1/19(から1日開催) |
| 開催地（和） | |
| 開催地（英） | |
| テーマ（和） | |
| テーマ（英） | |
| 委員長氏名（和） | |
| 委員長氏名（英） | |
| 副委員長氏名（和） | |
| 副委員長氏名（英） | |
| 幹事氏名（和） | |
| 幹事氏名（英） | |
| 幹事補佐氏名（和） | |
| 幹事補佐氏名（英） | |
| 講演論文情報詳細 | |
| 申込み研究会 | Neurocomputing (NC) |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | ベイズ推定における学習係数とメトロポリス法における平均採択率の関係(一般,複雑系とニューロコンピューティング) |
| サブタイトル（和） | |
| タイトル（英） | On the Relationship between Learning Coefficient for Bayesian Estimation and Average of Acceptance Rate for Metropolis Algorithm |
| サブタイトル（和） | |
| キーワード(1)（和/英） | ベイズ推定 / Bayesian estimation |
| キーワード(2)（和/英） | 学習係数 / Learning coefficient |
| キーワード(3)（和/英） | メトロポリス法 / Metropolis algorithm |
| キーワード(4)（和/英） | 平均採択率 / Average of acceptance rate |
| 第 1 著者 氏名（和/英） | 永田 賢二 / Kenji NAGATA |
| 第 1 著者 所属（和/英） | 東京大学大学院新領域創成科学研究科 Graduate School of Frontier Sciences, The University of Tokyo |
| 第 2 著者 氏名（和/英） | 岡田 真人 / Masato OKADA |
| 第 2 著者 所属（和/英） | 東京大学大学院新領域創成科学研究科:理化学研究所脳科学総合研究センター Graduate School of Frontier Sciences, The University of Tokyo:RIKEN Brain Science Institute |
| 発表年月日 | 2012-01-27 |
| 資料番号 | NC2011-111 |
| 巻番号（vol） | vol.111 |
| 号番号（no） | 419 |
| ページ範囲 | pp.- |
| ページ数 | 6 |
| 発行日 | |