| 講演名 | 2010-09-06 変分ベイズ法におけるクロスヴァリデーションと汎化誤差の分散について(テーマセッション,コンピュータビジョンとパターン認識のための機械学習と最適化,一般) 大山 慎史, 渡辺 澄夫, |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 変分ベイズ法はEM法と同等の演算量でベイズ法に近い汎化性能を実現できる学習法であり,機械学習において広く応用されているが,その汎化誤差についてはまだ理論的には解明されていない.一般に統計的学習ではクロスヴァリデーションを用いて汎化誤差の平均値を推定することができるが,汎化誤差とクロスヴァリデーションは確率変数としては同じではない.本論文では混合正規分布における変分ベイズ法を考察し,汎化誤差とクロスヴァリデーションの分散を実験的に解析する.真の分布が学習モデルに対して正則であるときには二つの分散は同じであるが,特異であるときには異なることを示す.さらに,特異である場合には,ハイパーパラメータが相転移点より小さなところで,クロスヴァリデーションの分散が汎化誤差の分散よりも大きな値になることを示す. |
| 抄録(英) | Variational Bayes method provides high generalization performance as the Bayes method using a small computational cost as the EM algorithm, therefore, it is widely being used in machine learning. In general, the average of the cross validation is asymptotically equal to that of the generalization error. However, in variational Bayes learning, the relationship between them has not yet been clarified. In this paper, we study variational Bayes method in a Gaussian mixture and experimentally show that the variances of the cross validation and the generalization error depend on the condition of regularity, and that the variance of the cross validation is greater than that of the generalization error, especially when the hyperparameter is smaller than the critical point of the phase transition. |
| キーワード(和) | 変分ベイズ法 / クロスヴァリデーション / 混合正規分布 / ハイパーパラメータ |
| キーワード(英) | variational Bayes method / cross validation / Gaussian mixture / hyperparameter |
| 資料番号 | PRMU2010-74,IBISML2010-46 |
| 発行日 |
| 研究会情報 | |
| 研究会 | PRMU |
|---|---|
| 開催期間 | 2010/8/29(から1日開催) |
| 開催地（和） | |
| 開催地（英） | |
| テーマ（和） | |
| テーマ（英） | |
| 委員長氏名（和） | |
| 委員長氏名（英） | |
| 副委員長氏名（和） | |
| 副委員長氏名（英） | |
| 幹事氏名（和） | |
| 幹事氏名（英） | |
| 幹事補佐氏名（和） | |
| 幹事補佐氏名（英） | |
| 講演論文情報詳細 | |
| 申込み研究会 | Pattern Recognition and Media Understanding (PRMU) |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 変分ベイズ法におけるクロスヴァリデーションと汎化誤差の分散について(テーマセッション,コンピュータビジョンとパターン認識のための機械学習と最適化,一般) |
| サブタイトル（和） | |
| タイトル（英） | A Study of Variances of Cross Validation and Generalization Error in Variational Bayes Method |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 変分ベイズ法 / variational Bayes method |
| キーワード(2)（和/英） | クロスヴァリデーション / cross validation |
| キーワード(3)（和/英） | 混合正規分布 / Gaussian mixture |
| キーワード(4)（和/英） | ハイパーパラメータ / hyperparameter |
| 第 1 著者 氏名（和/英） | 大山 慎史 / Shinji OYAMA |
| 第 1 著者 所属（和/英） | 東京工業大学総合理工学研究科知能システム科学専攻 Department of Computational Intelligence and Systems Science, Tokyo Institute of Technology |
| 第 2 著者 氏名（和/英） | 渡辺 澄夫 / Sumio WATANABE |
| 第 2 著者 所属（和/英） | 東京工業大学精密工学研究所 Precision and Intelligence Laboratory, Tokyo Institute of Technology |
| 発表年月日 | 2010-09-06 |
| 資料番号 | PRMU2010-74,IBISML2010-46 |
| 巻番号（vol） | vol.110 |
| 号番号（no） | 187 |
| ページ範囲 | pp.- |
| ページ数 | 8 |
| 発行日 | |