| 講演名 | 2012-11-07 変分ベイズ法の局所解における自由エネルギーと汎化誤差の関係(第15回情報論的学習理論ワークショップ) 中村 文士, 渡辺 澄夫, |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 変分ベイズ法は少ない演算量でベイズ事後分布を近似実現できるが,初期値に依存する複数の局所解を持つことが知られている.変分自由エネルギーは与えられたサンプルだけで計算できるが,汎化誤差はサンプルだけでは計算できないため,局所解における変分自由エネルギーと汎化誤差の間の関係を明らかにすることが望まれている.本論文では,人工データ及び実データを用いて,局所解における自由エネルギーと汎化誤差を求めて比較を行い,次の実験結果を報告する.真の分布が学習モデルに対して正則であるときには,変分自由エネルギーが小さい局所解は汎化誤差も小さくする.真の分布が学習モデルに対して特異であるときには,変分自由エネルギーを最小にする局所解か汎化誤差も最小にするとは限らない. |
| 抄録(英) | Variational Bayes learning approximates the posterior distribution with small computational costs, however, it has several local minima which depend on initial values. The variational free energy can be calculated using only training samples, whereas the generalization error not. To compare several local minima, the relation between the variational free energy and the generalization error are necessary. In this paper, we experimentally calculate the free energy and the generalization error for each local minimum, and report the following results. If a true distribution is regular for a statistical model, then the local minimum that minimizes the variational free energy also makes the generalization error minimal. If a true distribution is singular for a statistical model, then the local minimum that minimizes the variational free energy does not always make the generalization error minimal. |
| キーワード(和) | 変分ベイズ法 / 局所解 / 変分自由エネルギー / 汎化誤差 |
| キーワード(英) | Variational Bayes learning / Variational free energy / generalization error |
| 資料番号 | IBISML2012-42 |
| 発行日 |
| 研究会情報 | |
| 研究会 | IBISML |
|---|---|
| 開催期間 | 2012/10/31(から1日開催) |
| 開催地（和） | |
| 開催地（英） | |
| テーマ（和） | |
| テーマ（英） | |
| 委員長氏名（和） | |
| 委員長氏名（英） | |
| 副委員長氏名（和） | |
| 副委員長氏名（英） | |
| 幹事氏名（和） | |
| 幹事氏名（英） | |
| 幹事補佐氏名（和） | |
| 幹事補佐氏名（英） | |
| 講演論文情報詳細 | |
| 申込み研究会 | Information-Based Induction Sciences and Machine Learning (IBISML) |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 変分ベイズ法の局所解における自由エネルギーと汎化誤差の関係(第15回情報論的学習理論ワークショップ) |
| サブタイトル（和） | |
| タイトル（英） | Free Energy and Generalization error of Local mimima in Variational Bayes Learning |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 変分ベイズ法 / Variational Bayes learning |
| キーワード(2)（和/英） | 局所解 / Variational free energy |
| キーワード(3)（和/英） | 変分自由エネルギー / generalization error |
| キーワード(4)（和/英） | 汎化誤差 |
| 第 1 著者 氏名（和/英） | 中村 文士 / Fumito NAKAMURA |
| 第 1 著者 所属（和/英） | 東京工業大学大学院総合理工学研究科知能システム科学専攻 Tokyo Institute of Technology, Dept. of Computational Intelligence and Systems Science |
| 第 2 著者 氏名（和/英） | 渡辺 澄夫 / Sumio WATANABE |
| 第 2 著者 所属（和/英） | 東京工業大学大学院総合理工学研究科知能システム科学専攻 Tokyo Institute of Technology, Dept. of Computational Intelligence and Systems Science |
| 発表年月日 | 2012-11-07 |
| 資料番号 | IBISML2012-42 |
| 巻番号（vol） | vol.112 |
| 号番号（no） | 279 |
| ページ範囲 | pp.- |
| ページ数 | 7 |
| 発行日 | |