| 講演名 | 2011-03-08 変分ベイズ学習において情報源の構造がクロスヴァリデーションに与える影響について 大山 慎史, 渡辺 澄夫, |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 変分ベイズ法はEM法と同等の少ない演算量でベイズ法に近い汎化性能を実現できる学習法であり,統計的学習における有用性が広く知られている.一般に統計的学習では,汎化誤差の平均値はクロスヴァリデーションを用いて不偏推定することが出来るが,汎化誤差とクロスヴァリデーションは確率変数としては一致しない.本論文では混合正規分布における変分ベイズ法においてクロスヴァリデーションと汎化誤差の分散に関して次のことを実験的に明らかにする.クロスヴァリデーションの分散は,情報源の構造・学習モデルの正則性・ハイパーパラメータの値に依存し,特に真の情報源に含まれる異なるコンポーネントの重なりが大きい場合にクロスヴァリデーションの分散は汎化誤差の分散よりも大きくなり,汎化誤差の推定値として不安定なものになる. |
| 抄録(英) | The variational Bayes learning provides high generalization performance as the Bayes learning using a small computational cost as the EM algorithm, therefore, its usefulness has been widely recognized in statistical learning. In general the average of the generalization error is estimated as the average of the cross validation, however, they are not equal to each other as random variables. In this paper we apply the variational Bayes learning to the Gaussian mixture model and experimentally study the variances of the cross validation and the generalization error, showing the following result. The behavior of the variance of the cross validation depends on the structure of the information source, regularity, and the hyperparameter. Especially, with finite data, it becomes much larger and less stable than the variance of the generalization error when the information source has overlapping components which are difficult to be distinguished. |
| キーワード(和) | 変分ベイズ法 / クロスヴァリデーション / 混合正規分布 / ハイパーパラメータ |
| キーワード(英) | variational Bayes learning / cross validation / Gaussian mixture / hyperparameter |
| 資料番号 | NC2010-167 |
| 発行日 |
| 研究会情報 | |
| 研究会 | NC |
|---|---|
| 開催期間 | 2011/2/28(から1日開催) |
| 開催地（和） | |
| 開催地（英） | |
| テーマ（和） | |
| テーマ（英） | |
| 委員長氏名（和） | |
| 委員長氏名（英） | |
| 副委員長氏名（和） | |
| 副委員長氏名（英） | |
| 幹事氏名（和） | |
| 幹事氏名（英） | |
| 幹事補佐氏名（和） | |
| 幹事補佐氏名（英） | |
| 講演論文情報詳細 | |
| 申込み研究会 | Neurocomputing (NC) |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 変分ベイズ学習において情報源の構造がクロスヴァリデーションに与える影響について |
| サブタイトル（和） | |
| タイトル（英） | Effect of Information Source on Cross Validation in Variational Bayes Learning |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 変分ベイズ法 / variational Bayes learning |
| キーワード(2)（和/英） | クロスヴァリデーション / cross validation |
| キーワード(3)（和/英） | 混合正規分布 / Gaussian mixture |
| キーワード(4)（和/英） | ハイパーパラメータ / hyperparameter |
| 第 1 著者 氏名（和/英） | 大山 慎史 / Shinji OYAMA |
| 第 1 著者 所属（和/英） | 東京工業大学総合理工学研究科知能システム科学専攻 Department of Computational Intelligence and Systems Science, Tokyo Institute of Technology |
| 第 2 著者 氏名（和/英） | 渡辺 澄夫 / Sumio WATANABE |
| 第 2 著者 所属（和/英） | 東京工業大学精密工学研究所 Precision and Intelligence Laboratory, Tokyo Institute of Technology |
| 発表年月日 | 2011-03-08 |
| 資料番号 | NC2010-167 |
| 巻番号（vol） | vol.110 |
| 号番号（no） | 461 |
| ページ範囲 | pp.- |
| ページ数 | 6 |
| 発行日 | |