| 講演名 | 2007-03-14 Progressive Contrastive Divergence法 高畠 一哉, 赤穂 昭太郎, |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 多変数確率モデルの最尤推定に最急勾配法を用いた場合,勾配ベクトルの評価に多大な計算が必要となることがよくある.contrastive divergence法は勾配ベクトルの評価に近似とモンテカルロ法を用いて計算量を削減した手法であるが,この近似のために結果が真の最尤推定値からずれてしまうという欠点がある.本論文では真の最尤推定値が得られるようにcontrastive divergence法を改良したprogressive contrastive divergence法を提案する.確率モデルにボルツマンマシンを使い実験を行った結果を示す. |
| 抄録(英) | In cases that a gradient method is used for maximum likelihood estimation of a multivariate probability model, evaluation of the gradient vector often requires massive computation. Contrastive divergence method uses some approximation and a Monte Carlo method to reduce the computation for the evaluation of the gradient vector. Due to this approximation, the results from contrastive divergence method differs from the true maximum likelihood estimation. In this paper, progressive contrastive divergence method that is a modification of contrastive divergence method is shown. The result from progressive divergence method theoretically coincide with the true maximum likelihood estimation. Results of experiments that use Boltzmann machine for the probability model are shown. |
| キーワード(和) | contrastive divergence法 / モンテカルロ法 / Markov chain Monte Carlo法 / 最尤推定 / 収束 |
| キーワード(英) | contrastive divergence method / Monte Carlo method / Markov chain Monte Carlo / Maximum likelihood estimation / convergence |
| 資料番号 | NC2006-143 |
| 発行日 |
| 研究会情報 | |
| 研究会 | NC |
|---|---|
| 開催期間 | 2007/3/7(から1日開催) |
| 開催地（和） | |
| 開催地（英） | |
| テーマ（和） | |
| テーマ（英） | |
| 委員長氏名（和） | |
| 委員長氏名（英） | |
| 副委員長氏名（和） | |
| 副委員長氏名（英） | |
| 幹事氏名（和） | |
| 幹事氏名（英） | |
| 幹事補佐氏名（和） | |
| 幹事補佐氏名（英） | |
| 講演論文情報詳細 | |
| 申込み研究会 | Neurocomputing (NC) |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | Progressive Contrastive Divergence法 |
| サブタイトル（和） | |
| タイトル（英） | Progressive Contrastive Divergence Method |
| サブタイトル（和） | |
| キーワード(1)（和/英） | contrastive divergence法 / contrastive divergence method |
| キーワード(2)（和/英） | モンテカルロ法 / Monte Carlo method |
| キーワード(3)（和/英） | Markov chain Monte Carlo法 / Markov chain Monte Carlo |
| キーワード(4)（和/英） | 最尤推定 / Maximum likelihood estimation |
| キーワード(5)（和/英） | 収束 / convergence |
| 第 1 著者 氏名（和/英） | 高畠 一哉 / Kazuya TAKABATAKE |
| 第 1 著者 所属（和/英） | 産業技術総合研究所脳神経情報研究部門 Neuroscience Research Institute, AIST |
| 第 2 著者 氏名（和/英） | 赤穂 昭太郎 / Shotaro AKAHO |
| 第 2 著者 所属（和/英） | 産業技術総合研究所脳神経情報研究部門 Neuroscience Research Institute, AIST |
| 発表年月日 | 2007-03-14 |
| 資料番号 | NC2006-143 |
| 巻番号（vol） | vol.106 |
| 号番号（no） | 588 |
| ページ範囲 | pp.- |
| ページ数 | 4 |
| 発行日 | |