講演抄録/キーワード |
講演名 |
2011-03-29 10:30
確率的主成分分析における自動次元選択について ○中島伸一(ニコン)・杉山 将(東工大/JST)・デリン ババカン(イリノイ大) IBISML2010-123 |
抄録 |
(和) |
確率的主成分分析における厳密ベイズ推定は計算困難であるため,
種々の近似法が提案されている.
本稿では
部分ベイズ法(隠れ変数行列のみを積分消去)および変分ベイズ法(隠れ変数行列と結合係数行列との
独立性を仮定して両者を積分消去)について議論する.
変分ベイズ法は,部分ベイズ法に自動次元選択効果を持たせた改良版として提案されたという経緯があるが,
我々はまず,自動次元選択が部分ベイズ法でも現れることを理論的に示す.
両者が本質的に似た振る舞いをするのであれば,解析解が得られる部分ベイズ法の方が,
反復計算による最適化によって局所解を得る
変分ベイズ法よりも実用上優れていると言える.
しかし
部分ベイズ法には,経験ベイズ法によるハイパーパラメータ推定がうまく動作しないという欠点がある.
そこで次に,制約を強めた(各行列の縦ベクトル間独立性を仮定)簡易変分ベイズ法について検討する.
我々は,この方法において経験ベイズ法が問題なく動作し,オリジナルの変分ベイズ法と非常に似た振る舞いを
することを実験により示す.
我々はこれらの結果に基づき,大域解析解が得られる簡易変分ベイズ法が
実用上最も有利な方法であると結論する. |
(英) |
In probabilistic PCA,
the fully Bayesian estimation is computationally intractable.
To cope with this problem,
two types of approximation schemes were introduced:
the partially Bayesian PCA (PB-PCA)
where only the latent variables are integrated out,
and the variational Bayesian PCA (VB-PCA)
where the loading vectors are also integrated out.
So far, VB-PCA seems to have been preferred to PB-PCA
because it is equipped with automatic dimensionality selection (ADS).
In this paper, we investigate whether VB-PCA is really the best choice
from the viewpoints of computational efficiency and ADS.
We first show that ADS is not the unique feature of VB-PCA---PB-PCA
is also actually equipped with ADS.
We further show that PB-PCA is more advantageous in computational efficiency than VB-PCA
because the global solution can be computed analytically in PB-PCA.
However, we also show the negative fact that PB-PCA results in a trivial solution
in the empirical Bayesian framework.
We next consider a simplified variant of VB-PCA,
where the latent variables and loading vectors
are assumed to be mutually independent.
We show that this simplified VB-PCA is the most advantageous in practice
because its empirical Bayes solution experimentally works as well as the original VB-PCA,
and its global optimal solution can be computed efficiently in a closed form. |
キーワード |
(和) |
確率的主成分分析 / 自動次元選択 / 変分ベイズ / 部分ベイズ / 行列分解 / / / |
(英) |
probabilistic PCA / automatic dimensionality selection / variational Bayes / partially Bayesian / matrix factorization / / / |
文献情報 |
信学技報, vol. 110, no. 476, IBISML2010-123, pp. 131-138, 2011年3月. |
資料番号 |
IBISML2010-123 |
発行日 |
2011-03-21 (IBISML) |
ISSN |
Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 |
著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) |
PDFダウンロード |
IBISML2010-123 |