| 講演名 | 2006-03-17 完全2部グラフ型ボルツマンマシンにおける平均場近似自由エネルギーの漸近的挙動 西山 悠, 渡辺 澄夫, |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 特異モデルの学習においてペイズ学習の有効性が示されている.しかしながらベイズ事後分布の実現は難しい.ベイズ事後分布を少ない計算量で実現する近似方法として,統計物理学で知られる平均場近似が用いられる.平均場近似を利用したアルゴリズムは実問題への有効性が確認されている.近年,平均場近似の近似精度について理論的な研究がされている.理論的な研究によって,正則モデルとの比較を可能にし,モデル選択への応用の基礎にもつながる.本論文では完全2部グラフ型ボルツマンマシンにおいて,平均場近似自由エネルギーの漸近形の上界を理論的に導出する. |
| 抄録(英) | In the learning of singular learning machines, the superiority of Bayesian learning is shown. However, it requires huge computational costs to realize the Bayesian a posteriori distribution. To overcome this problem, the mean field approximation, which is originally known in statistical physics, is used in the practical information systems. Recently, the theoretical properties such as generalization error or free energy in the mean field approximation has been studied. The theoretical results give us the comparison with the regular statistical model and the foundation of a model selection. In this paper, we treat the complete bibpartite Boltzmann machines and derive the upper bound of asymptotic free energy of the mean field approximation. |
| キーワード(和) | 特異モデル / 確率的複雑さ / 平均場近似 / ボルツマンマシン |
| キーワード(英) | Singular Learning Machines / Stochastic Complexity / Mean Field Approximation / Boltzmann Machines |
| 資料番号 | NC2005-172 |
| 発行日 |
| 研究会情報 | |
| 研究会 | NC |
|---|---|
| 開催期間 | 2006/3/10(から1日開催) |
| 開催地（和） | |
| 開催地（英） | |
| テーマ（和） | |
| テーマ（英） | |
| 委員長氏名（和） | |
| 委員長氏名（英） | |
| 副委員長氏名（和） | |
| 副委員長氏名（英） | |
| 幹事氏名（和） | |
| 幹事氏名（英） | |
| 幹事補佐氏名（和） | |
| 幹事補佐氏名（英） | |
| 講演論文情報詳細 | |
| 申込み研究会 | Neurocomputing (NC) |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 完全2部グラフ型ボルツマンマシンにおける平均場近似自由エネルギーの漸近的挙動 |
| サブタイトル（和） | |
| タイトル（英） | Stochastic Complexity of Complete Bibpartite Graph-type Boltzmann Machines in Mean Field Approximation |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 特異モデル / Singular Learning Machines |
| キーワード(2)（和/英） | 確率的複雑さ / Stochastic Complexity |
| キーワード(3)（和/英） | 平均場近似 / Mean Field Approximation |
| キーワード(4)（和/英） | ボルツマンマシン / Boltzmann Machines |
| 第 1 著者 氏名（和/英） | 西山 悠 / Yu NISHIYAMA |
| 第 1 著者 所属（和/英） | 東京工業大学総合理工学研究科知能システム科学専攻 Department of Computational Intelligence and System Science, Tokyo Institute of Technology |
| 第 2 著者 氏名（和/英） | 渡辺 澄夫 / Sumio WATANABE |
| 第 2 著者 所属（和/英） | 東京工業大学精密工学研究所 Precision and Intelligence Laboratory. Tokyo Institute of Technology |
| 発表年月日 | 2006-03-17 |
| 資料番号 | NC2005-172 |
| 巻番号（vol） | vol.105 |
| 号番号（no） | 659 |
| ページ範囲 | pp.- |
| ページ数 | 6 |
| 発行日 | |