講演抄録/キーワード |
講演名 |
2009-01-19 11:45
ARD事前分布を用いた確率的マージン最大化行列因子化法の提案と欠測予測 ○古谷允宏(奈良先端大)・大羽成征(京大)・石井 信(京大/奈良先端大) NC2008-85 |
抄録 |
(和) |
行列形データの欠測予測手法として、行列の低ランク近似を元にした様々な手法が提案されている。近年Srebro ら(2005) によって、二値やレート値などの離散値を要素とする観測行列に対して有効な手法として、マージン最大化行列因子化法(MMMF) が提案された。これはヒンジ誤差関数を用いた罰則化項と、行列のトレースノルムを用いた正則化項に特徴があり、ランクを明に制限せずに近似を行う。低ランク行列因子化において、近似行列のランクや正則化係数といったハイパーパラメタは汎化性能において重要な鍵であり、適切な決定が求められるが、交差検証を用いて同時に決定するのは計算量の問題があり困難である。そこで我々は確率モデルに基づきハイパーパラメタ空間での学習を考えた。我々は本稿でMMMF の確率モデル(PMMMF) を提案し、因子化行列の事前分布として関連次元自動決定(ARD)に関するハイパーパラメタを含む事前分布を用いた。これにより正則化係数だけでなく、ランクに関しても自動決定が可能となり、汎化性能の向上が期待される。実際に協調フィルタリング問題に関する実データでの比較を行った結果、提案手法は高い汎化性能を示した。 |
(英) |
Various methods for missing value estimation of matrix data have been proposed based on low-rank approximation of matrix data. A recent example is the maximum margin matrix factorization (MMMF) (Srebro and Rennie, 2005) proposed for predicting discrete values such as binary and ordinal rating. The MMMF is characterized with a penalty term based on a hinge error function and a regularization term based on a trace norm. An important key in matrix factorization is to determine hyper-parameters, such as approximated rank and regularization factor, which affect much to generalization performances. But, when there are multiple hyper-parameters to be determined, grid search with cross-validation takes large computational cost. In this report, we consider a probabilistic approach to determine the hyper-parameters based on the evidence criterion and propose a probabilistic MMMF (PMMMF) model that includes a prior of factor matrix with automatic relevance determination (ARD) hyper-parameter. This approach enables us to automatically determine both the regularization factor and rank that improve the generalization performance. We compare the proposed and original methods and show a better result on a real collaborative filtering problem. |
キーワード |
(和) |
欠測予測 / 行列因子化 / 関連次元自動決定 / 確率モデル / / / / |
(英) |
Missing value prediction / Matrix factorization / Automatic relevance determination / Probabilistic model / / / / |
文献情報 |
信学技報, vol. 108, no. 383, NC2008-85, pp. 19-24, 2009年1月. |
資料番号 |
NC2008-85 |
発行日 |
2009-01-12 (NC) |
ISSN |
Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 |
著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) |
PDFダウンロード |
NC2008-85 |