| 講演名 | 2009-01-19 ARD事前分布を用いた確率的マージン最大化行列因子化法の提案と欠測予測(神経ダイナミクス,一般) 古谷 允宏, 大羽 成征, 石井 信, |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 行列形データの欠測予測手法として、行列の低ランク近似を元にした様々な手法が提案されている。近年Srebroら(2005)によって、二値やレート値などの離散値を要素とする観測行列に対して有効な手法として、マージン最大化行列因子化法(MMMF)が提案された。これはヒンジ誤差関数を用いた罰則化項と、行列のトレースノルムを用いた正則化項に特徴があり、ランクを明に制限せずに近似を行う。低ランク行列因子化において、近似行列のランクや正則化係数といったハイパーパラメタは汎化性能において重要な鍵であり、適切な決定が求められるが、交差検証を用いて同時に決定するのは計算量の問題があり困難である。そこで我々は確率モデルに基づきハイパーパラメタ空間での学習を考えた。我々は本稿でMMMFの確率モデル(PMMMF)を提案し、因子化行列の事前分布として関連次元自動決定(ARD)に関するハイパーパラメタを含む事前分布を用いた。これにより正則化係数だけでなく、ランクに関しても自動決定が可能となり、汎化性能の向上が期待される。実際に協調フィルタリング問題に関する実データでの比較を行った結果、提案手法は高い汎化性能を示した。 |
| 抄録(英) | Various methods for missing value estimation of matrix data have been proposed based on low-rank approximation of matrix data. A recent example is the maximum margin matrix factorization(MMMF) (Srebro and Rennie, 2005) proposed for predicting discrete values such as binary and ordinal rating. The MMMF is characterized with a penalty term based on a hinge error function and a regularization term based on a trace norm. An important key in matrix factorization is to determine hyper-parameters, such as approximated rank and regularization factor, which affect much to generalization performances. But, when there are multiple hyper-parameters to be determined, grid search with cross-validation takes large computational cost. In this report, we consider a probabilistic approach to determine the hyper-parameters based on the evidence criterion and propose a probabilistic MMMF(PMMMF) model that includes a prior of factor matrix with automatic relevance determination(ARD) hyper-parameter. This approach enables us to automatically determine both the regularization factor and rank that improve the generalization performance. We compare the proposed and original methods and show a better result on a real collaborative filtering problem. |
| キーワード(和) | 欠測予測 / 行列因子化 / 関連次元自動決定 / 確率モデル |
| キーワード(英) | Missing value prediction / Matrix factorization / Automatic relevance determination / Probabilistic model |
| 資料番号 | NC2008-85 |
| 発行日 |
| 研究会情報 | |
| 研究会 | NC |
|---|---|
| 開催期間 | 2009/1/12(から1日開催) |
| 開催地（和） | |
| 開催地（英） | |
| テーマ（和） | |
| テーマ（英） | |
| 委員長氏名（和） | |
| 委員長氏名（英） | |
| 副委員長氏名（和） | |
| 副委員長氏名（英） | |
| 幹事氏名（和） | |
| 幹事氏名（英） | |
| 幹事補佐氏名（和） | |
| 幹事補佐氏名（英） | |
| 講演論文情報詳細 | |
| 申込み研究会 | Neurocomputing (NC) |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | ARD事前分布を用いた確率的マージン最大化行列因子化法の提案と欠測予測(神経ダイナミクス,一般) |
| サブタイトル（和） | |
| タイトル（英） | A probabilistic model of maximum margin matrix factorization with ARD prior |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 欠測予測 / Missing value prediction |
| キーワード(2)（和/英） | 行列因子化 / Matrix factorization |
| キーワード(3)（和/英） | 関連次元自動決定 / Automatic relevance determination |
| キーワード(4)（和/英） | 確率モデル / Probabilistic model |
| 第 1 著者 氏名（和/英） | 古谷 允宏 / Masahiro FURUYA |
| 第 1 著者 所属（和/英） | 奈良先端科学技術大学院大学情報科学研究科 Graduate School of Information Science, Nara Institute of Science and Technology |
| 第 2 著者 氏名（和/英） | 大羽 成征 / Shigeyuki OBA |
| 第 2 著者 所属（和/英） | 京都大学情報学研究科 Graduate School of Informatics, Kyoto University |
| 第 3 著者 氏名（和/英） | 石井 信 / Shin ISHII |
| 第 3 著者 所属（和/英） | 京都大学情報学研究科:奈良先端科学技術大学院大学情報科学研究科 Graduate School of Informatics, Kyoto University:Graduate School of Information Science, Nara Institute of Science and Technology |
| 発表年月日 | 2009-01-19 |
| 資料番号 | NC2008-85 |
| 巻番号（vol） | vol.108 |
| 号番号（no） | 383 |
| ページ範囲 | pp.- |
| ページ数 | 6 |
| 発行日 | |