| 講演名 | 2012-11-08 逐次的な重点サンプリングを用いたWAIC計算法(第15回情報論的学習理論ワークショップ) 三木 拓史, 渡辺 澄夫, |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | ベイズ汎化損失は真の分布と予測分布の距離を表し,モデル選択やハイパーパラメータの設計に使われる,機械学習において重要な量である.パターン認識やデータマイニングで広く使用されている,混合分布モデル,隠れマルコフモデル,ニューラルネットワークモデルのような階層型の学習モデルはパラメータと確率分布の対応が一対一ではなく,縮退したフィッシャー情報行列を持つため統計的正則モデルではない.近年,代数幾何学を用いた解析により非正則モデルに対しても汎化損失の不偏推定量となる情報量規準,WAICが提案された.しかしながら,予測分布の計算とWAICの計算には事後分布による期待値計算が必要になる.一般に期待値計算にはマルコフ連鎖モンテカルロ法が必要となるため,演算量の点での改良が望まれている.本研究では逐次的重点サンプリング法を用いた予測分布とWAICの計算法を提案し,数値実験によりその有効性を検討する.実験の結果,汎化誤差の平均値とWAICの平均値がほぼ一致していることが確認された. |
| 抄録(英) | The bayes generalization loss represents the distance of the predictive distribution and the true distribution. It is used in model selection and hyper parameter design, hence an important variable in machine learning. Hierarchical learning models, such as a mixture model, a hidden markov model, a neural network model, are widely used in pattern recognition and data mining. Those learning models are not regular if its Fisher information matrix is singular. In recent years, WAIC, which is the unbiased estimator of the generalization loss even for singular learning model, is proposed. WAIC needs calculation of the expectation value by posterior distribution. In general, Markov chain Monte Carlo method is used to calculate the expectation value. Hence in applications, its computational cost can not be ignored. In this paper, we propose a calculating method for WAIC using the sequential importance sampling. Experimental results show the effectiveness of the proposed method. |
| キーワード(和) | WAIC / 逐次的重点サンプリング |
| キーワード(英) | WAIC / Sequential Importance Sampling |
| 資料番号 | IBISML2012-70 |
| 発行日 |
| 研究会情報 | |
| 研究会 | IBISML |
|---|---|
| 開催期間 | 2012/10/31(から1日開催) |
| 開催地（和） | |
| 開催地（英） | |
| テーマ（和） | |
| テーマ（英） | |
| 委員長氏名（和） | |
| 委員長氏名（英） | |
| 副委員長氏名（和） | |
| 副委員長氏名（英） | |
| 幹事氏名（和） | |
| 幹事氏名（英） | |
| 幹事補佐氏名（和） | |
| 幹事補佐氏名（英） | |
| 講演論文情報詳細 | |
| 申込み研究会 | Information-Based Induction Sciences and Machine Learning (IBISML) |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 逐次的な重点サンプリングを用いたWAIC計算法(第15回情報論的学習理論ワークショップ) |
| サブタイトル（和） | |
| タイトル（英） | Calculation Method for WAIC Using Sequential Importance Sampling |
| サブタイトル（和） | |
| キーワード(1)（和/英） | WAIC / WAIC |
| キーワード(2)（和/英） | 逐次的重点サンプリング / Sequential Importance Sampling |
| 第 1 著者 氏名（和/英） | 三木 拓史 / Takushi MIKI |
| 第 1 著者 所属（和/英） | 東京工業大学知能システム科学専攻 Department of Computational Intelligence and Systems Science, Tokyo Institute of Technology |
| 第 2 著者 氏名（和/英） | 渡辺 澄夫 / Sumio WATANABE |
| 第 2 著者 所属（和/英） | 東京工業大学知能システム科学専攻 Department of Computational Intelligence and Systems Science, Tokyo Institute of Technology |
| 発表年月日 | 2012-11-08 |
| 資料番号 | IBISML2012-70 |
| 巻番号（vol） | vol.112 |
| 号番号（no） | 279 |
| ページ範囲 | pp.- |
| ページ数 | 5 |
| 発行日 | |