電子情報通信学会 研究会発表申込システム
講演論文 詳細
技報閲覧サービス
技報オンライン
‥‥ (ESS/通ソ/エレソ/ISS)
技報アーカイブ
‥‥ (エレソ/通ソ)
 トップに戻る 前のページに戻る   [Japanese] / [English] 

講演抄録/キーワード
講演名 2011-03-29 10:30
確率的主成分分析における自動次元選択について
中島伸一ニコン)・杉山 将東工大/JST)・デリン ババカンイリノイ大
技報オンラインサービス実施中
抄録 (和) 確率的主成分分析における厳密ベイズ推定は計算困難であるため,
種々の近似法が提案されている.
本稿では
部分ベイズ法(隠れ変数行列のみを積分消去)および変分ベイズ法(隠れ変数行列と結合係数行列との
独立性を仮定して両者を積分消去)について議論する.
変分ベイズ法は,部分ベイズ法に自動次元選択効果を持たせた改良版として提案されたという経緯があるが,
我々はまず,自動次元選択が部分ベイズ法でも現れることを理論的に示す.
両者が本質的に似た振る舞いをするのであれば,解析解が得られる部分ベイズ法の方が,
反復計算による最適化によって局所解を得る
変分ベイズ法よりも実用上優れていると言える.
しかし
部分ベイズ法には,経験ベイズ法によるハイパーパラメータ推定がうまく動作しないという欠点がある.
そこで次に,制約を強めた(各行列の縦ベクトル間独立性を仮定)簡易変分ベイズ法について検討する.
我々は,この方法において経験ベイズ法が問題なく動作し,オリジナルの変分ベイズ法と非常に似た振る舞いを
することを実験により示す.
我々はこれらの結果に基づき,大域解析解が得られる簡易変分ベイズ法が
実用上最も有利な方法であると結論する. 
(英) In probabilistic PCA,
the fully Bayesian estimation is computationally intractable.
To cope with this problem,
two types of approximation schemes were introduced:
the partially Bayesian PCA (PB-PCA)
where only the latent variables are integrated out,
and the variational Bayesian PCA (VB-PCA)
where the loading vectors are also integrated out.
So far, VB-PCA seems to have been preferred to PB-PCA
because it is equipped with automatic dimensionality selection (ADS).
In this paper, we investigate whether VB-PCA is really the best choice
from the viewpoints of computational efficiency and ADS.
We first show that ADS is not the unique feature of VB-PCA---PB-PCA
is also actually equipped with ADS.
We further show that PB-PCA is more advantageous in computational efficiency than VB-PCA
because the global solution can be computed analytically in PB-PCA.
However, we also show the negative fact that PB-PCA results in a trivial solution
in the empirical Bayesian framework.
We next consider a simplified variant of VB-PCA,
where the latent variables and loading vectors
are assumed to be mutually independent.
We show that this simplified VB-PCA is the most advantageous in practice
because its empirical Bayes solution experimentally works as well as the original VB-PCA,
and its global optimal solution can be computed efficiently in a closed form.
キーワード (和) 確率的主成分分析 / 自動次元選択 / 変分ベイズ / 部分ベイズ / 行列分解 / / /  
(英) probabilistic PCA / automatic dimensionality selection / variational Bayes / partially Bayesian / matrix factorization / / /  
文献情報 信学技報, vol. 110, no. 476, IBISML2010-123, pp. 131-138, 2011年3月.
資料番号 IBISML2010-123 
発行日 2011-03-21 (IBISML) 
ISSN Print edition: ISSN 0913-5685  Online edition: ISSN 2432-6380

研究会情報
研究会 IBISML  
開催期間 2011-03-28 - 2011-03-29 
開催地(和) 阪大中之島センター 
開催地(英) Nakanoshima Center, Osaka Univ. 
テーマ(和) テキスト・Webマイニング、一般 
テーマ(英) Text and Web mining, etc. 
講演論文情報の詳細
申込み研究会 IBISML 
会議コード 2011-03-IBISML 
本文の言語 日本語 
タイトル(和) 確率的主成分分析における自動次元選択について 
サブタイトル(和)  
タイトル(英) On Automatic Dimensionality Selection in Probabilistic PCA 
サブタイトル(英)  
キーワード(1)(和/英) 確率的主成分分析 / probabilistic PCA  
キーワード(2)(和/英) 自動次元選択 / automatic dimensionality selection  
キーワード(3)(和/英) 変分ベイズ / variational Bayes  
キーワード(4)(和/英) 部分ベイズ / partially Bayesian  
キーワード(5)(和/英) 行列分解 / matrix factorization  
キーワード(6)(和/英) /  
キーワード(7)(和/英) /  
キーワード(8)(和/英) /  
第1著者 氏名(和/英/ヨミ) 中島 伸一 / Shinichi Nakajima / ナカジマ シンイチ
第1著者 所属(和/英) (株)ニコン (略称: ニコン)
Nikon Corporation (略称: Nikon)
第2著者 氏名(和/英/ヨミ) 杉山 将 / Masashi Sugiyama / スギヤマ マサシ
第2著者 所属(和/英) 東京工業大学/JST PRESTO (略称: 東工大/JST)
Tokyo Institute of Technology/JST PRESTO (略称: Tokyo Inst. of Tech./JST)
第3著者 氏名(和/英/ヨミ) デリン ババカン / Derin Babacan / デリン ババカン
第3著者 所属(和/英) イリノイ大学 (略称: イリノイ大)
University of Illinois (略称: Illinois of.Univ.)
第4著者 氏名(和/英/ヨミ) / /
第4著者 所属(和/英) (略称: )
(略称: )
第5著者 氏名(和/英/ヨミ) / /
第5著者 所属(和/英) (略称: )
(略称: )
第6著者 氏名(和/英/ヨミ) / /
第6著者 所属(和/英) (略称: )
(略称: )
第7著者 氏名(和/英/ヨミ) / /
第7著者 所属(和/英) (略称: )
(略称: )
第8著者 氏名(和/英/ヨミ) / /
第8著者 所属(和/英) (略称: )
(略称: )
第9著者 氏名(和/英/ヨミ) / /
第9著者 所属(和/英) (略称: )
(略称: )
第10著者 氏名(和/英/ヨミ) / /
第10著者 所属(和/英) (略称: )
(略称: )
第11著者 氏名(和/英/ヨミ) / /
第11著者 所属(和/英) (略称: )
(略称: )
第12著者 氏名(和/英/ヨミ) / /
第12著者 所属(和/英) (略称: )
(略称: )
第13著者 氏名(和/英/ヨミ) / /
第13著者 所属(和/英) (略称: )
(略称: )
第14著者 氏名(和/英/ヨミ) / /
第14著者 所属(和/英) (略称: )
(略称: )
第15著者 氏名(和/英/ヨミ) / /
第15著者 所属(和/英) (略称: )
(略称: )
第16著者 氏名(和/英/ヨミ) / /
第16著者 所属(和/英) (略称: )
(略称: )
第17著者 氏名(和/英/ヨミ) / /
第17著者 所属(和/英) (略称: )
(略称: )
第18著者 氏名(和/英/ヨミ) / /
第18著者 所属(和/英) (略称: )
(略称: )
第19著者 氏名(和/英/ヨミ) / /
第19著者 所属(和/英) (略称: )
(略称: )
第20著者 氏名(和/英/ヨミ) / /
第20著者 所属(和/英) (略称: )
(略称: )
講演者
発表日時 2011-03-29 10:30:00 
発表時間 20 
申込先研究会 IBISML 
資料番号 IEICE-IBISML2010-123 
巻番号(vol) IEICE-110 
号番号(no) no.476 
ページ範囲 pp.131-138 
ページ数 IEICE-8 
発行日 IEICE-IBISML-2011-03-21 


[研究会発表申込システムのトップページに戻る]

[電子情報通信学会ホームページ]


IEICE / 電子情報通信学会