| 講演名 | 2006-07-14 一般ボルツマンマシンにおける平均場近似自由エネルギーの漸近的挙動 西山 悠, 渡辺 澄夫, |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 人工神経回路網,混合分布,ベイジアンネット等の特異モデルの学習に,ベイズ学習の有効性が示されている.計算困難なベイズ学習に対し,平均場近似を利用したアルゴリズムが用いられ,実問題への有効性が確認されている.近年,平均場近似学習について,汎化誤差,自由エネルギーの理論的な研究がされている.理論的な研究によって,平均場近似のベイズ学習に対する近似精度が明らかとなり,モデル選択への応用の基礎にもつながる.本論文では,一般のボルツマンマシンを考え,特異モデルにおいて一般に縮退するフィッシャー情報行列に対し,零でない固有値の個数を数えることにより,平均場近似学習における自由エネルギーについて,漸近形の上界を理論的に導出する. |
| 抄録(英) | In the Bayesian learning, which generally requires huge computational costs, the algorithms based on the mean field approximation have shown us the effectiveness in the practical information systems. Recently, the generalization error or free energy in the mean field approximation has been theoretically studied. The theoretical results enable us to know the accuracy of the approximation and contribute to the foundation of a model selection in statistical singular machines. In this paper, we show that the upper bounds of the asymptotic free energies are theoretically obtained by counting the number of non-0 eigenvalues of Fisher information matrices and derive the upper bound in the learning model of general Boltzmann machines. |
| キーワード(和) | 特異モデル / 自由エネルギー / 平均場近似 / ボルツマンマシン |
| キーワード(英) | Singular Learning Machines / Free Energy / Mean Field Approximation / Boltzmann Machines |
| 資料番号 | NC2006-38 |
| 発行日 |
| 研究会情報 | |
| 研究会 | NC |
|---|---|
| 開催期間 | 2006/7/7(から1日開催) |
| 開催地（和） | |
| 開催地（英） | |
| テーマ（和） | |
| テーマ（英） | |
| 委員長氏名（和） | |
| 委員長氏名（英） | |
| 副委員長氏名（和） | |
| 副委員長氏名（英） | |
| 幹事氏名（和） | |
| 幹事氏名（英） | |
| 幹事補佐氏名（和） | |
| 幹事補佐氏名（英） | |
| 講演論文情報詳細 | |
| 申込み研究会 | Neurocomputing (NC) |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 一般ボルツマンマシンにおける平均場近似自由エネルギーの漸近的挙動 |
| サブタイトル（和） | |
| タイトル（英） | Asymptotic Behavior of Free Energy of General Boltzmann Machines in Mean Field Approximation |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 特異モデル / Singular Learning Machines |
| キーワード(2)（和/英） | 自由エネルギー / Free Energy |
| キーワード(3)（和/英） | 平均場近似 / Mean Field Approximation |
| キーワード(4)（和/英） | ボルツマンマシン / Boltzmann Machines |
| 第 1 著者 氏名（和/英） | 西山 悠 / Yu NISHIYAMA |
| 第 1 著者 所属（和/英） | 東京工業大学総合理工学研究科知能システム科学専攻 Department of Computational Intelligence and Systems Science, Tokyo Institute of Technology |
| 第 2 著者 氏名（和/英） | 渡辺 澄夫 / Sumio WATANABE |
| 第 2 著者 所属（和/英） | 東京工業大学精密工学研究所 Precision and Intelligence Laboratory, Tokyo Institute of Technology |
| 発表年月日 | 2006-07-14 |
| 資料番号 | NC2006-38 |
| 巻番号（vol） | vol.106 |
| 号番号（no） | 163 |
| ページ範囲 | pp.- |
| ページ数 | 6 |
| 発行日 | |