| 講演名 | 2004/10/12 EMアルゴリズムと統計物理(<特集>SMAPIPチュートリアル) 井上 純一, |
|---|---|
| PDFダウンロードページ | PDFダウンロードページへ |
| 抄録(和) | マルコフ確率場やベイジアンネットを用いて確率的推定/推論を行う際,用いる確率モデルにはシステムをマクロに特徴つける変数-ハイパパラメーターの他,直接的には観測されない欠損データが含まれるケースが多い.この場合,それら欠損データに関して周辺化された対数尤度-周辺尤度-を最大化する方策によりハイパーパラメータを定めるのだが,この最大化,及び,その最大値を与えるパラメータの決定を系統的に行う方法としてEMアルゴリズム(Expectation Maximum)が広く用いられている.本チュートリアル講演では,このアルゴリズムを統計力学の視点から眺めた場合に得られるいくつかの知見:周辺尤度と自由エネルギーの関係,アルゴリズムを実装する際に用いられ,るMCMC法や平均場近似,及び,アルゴリズムの動作プロセスを解析評価するための技法であるレプリカ法等を具体例をあげて紹介する. |
| 抄録(英) | When we attempt to make statistical inference by using Markov random fields or Bayesian networks, theprobabilistic model includes hyper-parameters and some missing data which are impossible to be observed. In suchcases, we should choose the strategy that maximizes so-called marginal likelihood function and regard the solution ofthis optimization problem as the best suitable values of the hyper-parameters. To maximize the marginal likelihoodfunction systematically, EM algorithm (Expectation Maximum algorithm) is widely used. In this talk, I present severalaspects of this algorithm from a view point of statistical mechanics. I also show the relation between the EM andstatistical physics with the following key concepts in mind : marginal likelihood function and free energy, MCMCmethod and meanfield approximation, replica method etc. for several problems of information processing. |
| キーワード(和) | EMアルゴリズム / 最尤推定 / 統計力学 / 混合正規分布 / マルコフ確率場 |
| キーワード(英) | EM algorithm / Maximum likelihood estimate / Statistical mechanics / Gaussian mixture / MRFs |
| 資料番号 | NC2004-76 |
| 発行日 |
| 研究会情報 | |
| 研究会 | NC |
|---|---|
| 開催期間 | 2004/10/12(から1日開催) |
| 開催地（和） | |
| 開催地（英） | |
| テーマ（和） | |
| テーマ（英） | |
| 委員長氏名（和） | |
| 委員長氏名（英） | |
| 副委員長氏名（和） | |
| 副委員長氏名（英） | |
| 幹事氏名（和） | |
| 幹事氏名（英） | |
| 幹事補佐氏名（和） | |
| 幹事補佐氏名（英） | |
| 講演論文情報詳細 | |
| 申込み研究会 | Neurocomputing (NC) |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | EMアルゴリズムと統計物理(<特集>SMAPIPチュートリアル) |
| サブタイトル（和） | |
| タイトル（英） | Expectation maximum algorithm and statistical physics |
| サブタイトル（和） | |
| キーワード(1)（和/英） | EMアルゴリズム / EM algorithm |
| キーワード(2)（和/英） | 最尤推定 / Maximum likelihood estimate |
| キーワード(3)（和/英） | 統計力学 / Statistical mechanics |
| キーワード(4)（和/英） | 混合正規分布 / Gaussian mixture |
| キーワード(5)（和/英） | マルコフ確率場 / MRFs |
| 第 1 著者 氏名（和/英） | 井上 純一 / Jun-ichi INOUE |
| 第 1 著者 所属（和/英） | 北海道大学大学院情報科学研究科 Graduate School of Information Science and Technology, Hokkaido University |
| 発表年月日 | 2004/10/12 |
| 資料番号 | NC2004-76 |
| 巻番号（vol） | vol.104 |
| 号番号（no） | 349 |
| ページ範囲 | pp.- |
| ページ数 | 6 |
| 発行日 | |