| 講演名 | 2012-11-08 変分ベイズ主成分分析の次元推定性能保証について(第15回情報論的学習理論ワークショップ) 中島 伸一, 冨岡 亮太, 杉山 将, ババカン デリン, |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | ベイズ推定の効率的近似手法である変分ベイズ法は,多くの応用において高い性能を示している.しかし,その性能は理論的に解明されているとは言いがたい.例えば,変分ベイズ法によって得られるスパースな解は実用上有用であるが,そのようなスパース性は厳密なベイズ推定において必ずしも観測されない.本稿では確率的主成分分析に焦点をあて,変分ベイズ法の有用性に関する理論的解析を行う.具体的に述べると,ノイズ分散が未知な状況で変分ベイズ主成分分析を適用したとき,真のランクと変分ベイズ推定量とのランクが一致するための十分条件を,ランダム行列理論に基づいて導出する.解析の過程で導出されるノイズ分散推定量のバウンドと,以前に導出されたものよりもはるかにシンプルな大域解の表現は,変分ベイズ主成分分析の容易な実装を可能にする. |
| 抄録(英) | The variational Bayesian (VB) approach is one of the best tractable approximations to the Bayesian estimation, and it was demonstrated to perform well in many applications. However, its good performance was not fully understood theoretically. For example, VB sometimes produces a sparse solution, which is regarded as a practical advantage of VB, but such sparsity is hardly observed in the rigorous Bayesian estimation. In this paper, we focus on probabilistic PCA and give more theoretical insight into the empirical success of VB. More specifically, for the situation where the noise variance is unknown, we derive a sufficient condition for perfect recovery of the true PCA dimensionality in the large-scale limit when the size of an observed matrix goes to infinity with its column-row ratio fixed. In our analysis, we obtain bounds for a noise variance estimator and simple closed-form solutions for other parameters, which themselves are actually very useful for better implementation of VB-PCA. |
| キーワード(和) | 行列分解 / 変分ベイズ / スパース性 / 次元完全復元 |
| キーワード(英) | matrix factorization / variational Bayes / sparsity / perfect dimensionality recovery |
| 資料番号 | IBISML2012-66 |
| 発行日 |
| 研究会情報 | |
| 研究会 | IBISML |
|---|---|
| 開催期間 | 2012/10/31(から1日開催) |
| 開催地（和） | |
| 開催地（英） | |
| テーマ（和） | |
| テーマ（英） | |
| 委員長氏名（和） | |
| 委員長氏名（英） | |
| 副委員長氏名（和） | |
| 副委員長氏名（英） | |
| 幹事氏名（和） | |
| 幹事氏名（英） | |
| 幹事補佐氏名（和） | |
| 幹事補佐氏名（英） | |
| 講演論文情報詳細 | |
| 申込み研究会 | Information-Based Induction Sciences and Machine Learning (IBISML) |
|---|---|
| 本文の言語 | ENG |
| タイトル（和） | 変分ベイズ主成分分析の次元推定性能保証について(第15回情報論的学習理論ワークショップ) |
| サブタイトル（和） | |
| タイトル（英） | On Dimensionality Recovery Guarantee of Variational Bayesian PCA |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 行列分解 / matrix factorization |
| キーワード(2)（和/英） | 変分ベイズ / variational Bayes |
| キーワード(3)（和/英） | スパース性 / sparsity |
| キーワード(4)（和/英） | 次元完全復元 / perfect dimensionality recovery |
| 第 1 著者 氏名（和/英） | 中島 伸一 / Shinichi NAKAJIMA |
| 第 1 著者 所属（和/英） | ニコン光技術研究所 Optical Research Laboratory, Nikon Corporation |
| 第 2 著者 氏名（和/英） | 冨岡 亮太 / Ryota TOMIOKA |
| 第 2 著者 所属（和/英） | 東京大学 The University of Tokyo |
| 第 3 著者 氏名（和/英） | 杉山 将 / Masashi SUGIYAMA |
| 第 3 著者 所属（和/英） | 東京工業大学 Tokyo Institute of Technology |
| 第 4 著者 氏名（和/英） | ババカン デリン / S. Derin BABACAN |
| 第 4 著者 所属（和/英） | ベックマン高等科学技術研究所イリノイ大学 Beckman Institute, University of Illinois at Urbana-Champaign |
| 発表年月日 | 2012-11-08 |
| 資料番号 | IBISML2012-66 |
| 巻番号（vol） | vol.112 |
| 号番号（no） | 279 |
| ページ範囲 | pp.- |
| ページ数 | 8 |
| 発行日 | |