| 講演名 | 1998/3/19 平均場近似法に対する情報幾何学的理論 田中 利幸, |
|---|---|
| PDFダウンロードページ | PDFダウンロードページへ |
| 抄録(和) | 統計物理学の手法である平均場近似法は, 確率的なニューラルネットワークに対する決定論的な近似の方法として最適化問題や学習の問題に適用されているが, それがいかなる近似を与えているかということについての情報理論の立場からの検討は, ナイーブな平均場近以を除いてほとんどなされていない.本研究では情報幾何学を使った議論によって, 情報理論の立場からの平均場近似法の一般的な定式化を示す.また, この定式化から, ナイーブな平均場理論だけでなく, 統計物理学の分野で知られている, より精度の高い近似を与えるTAPの方法や, 平均場近似の枠内で統計的相関の扱いを可能にする線形応答定理が, 自然な形で導かれることを示す. |
| 抄録(英) | Mean field approximation, a method originally developed in statistical physics, provides a framework of deterministically approximating stochasticity of neural networks, and has been successfully applied to problems of optimization and learning. However, there are few information-theoretic studies as to the properties of the approximation, except for the so-called naive mean field approximation. In this study I show a general information-theoretic formulation of mean field approximation based on information geometry. I also show that from this formulation one can derive not only the naive mean field theory but also TAP approach, which is well known in statistical physics as giving more accurate approximations, and the linear response theorem, which allows treatment of statistical correlations within the framework of mean field approximation, in a natural and consistent way. |
| キーワード(和) | 平均場近似 / 情報幾何学 / 摂動展開 / 学習 / ニューラルネットワーク |
| キーワード(英) | mean field approximation / information geometry / perturbation expansion / learning / neural network |
| 資料番号 | |
| 発行日 |
| 研究会情報 | |
| 研究会 | NC |
|---|---|
| 開催期間 | 1998/3/19(から1日開催) |
| 開催地（和） | |
| 開催地（英） | |
| テーマ（和） | |
| テーマ（英） | |
| 委員長氏名（和） | |
| 委員長氏名（英） | |
| 副委員長氏名（和） | |
| 副委員長氏名（英） | |
| 幹事氏名（和） | |
| 幹事氏名（英） | |
| 幹事補佐氏名（和） | |
| 幹事補佐氏名（英） | |
| 講演論文情報詳細 | |
| 申込み研究会 | Neurocomputing (NC) |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 平均場近似法に対する情報幾何学的理論 |
| サブタイトル（和） | |
| タイトル（英） | Information geometrical theory of mean field approximation |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 平均場近似 / mean field approximation |
| キーワード(2)（和/英） | 情報幾何学 / information geometry |
| キーワード(3)（和/英） | 摂動展開 / perturbation expansion |
| キーワード(4)（和/英） | 学習 / learning |
| キーワード(5)（和/英） | ニューラルネットワーク / neural network |
| 第 1 著者 氏名（和/英） | 田中 利幸 / Toshiyuki Tanaka |
| 第 1 著者 所属（和/英） | 東京都立大学大学院工学研究科 Graduate School of Electrical Engineering, Tokyo Metropolitan University |
| 発表年月日 | 1998/3/19 |
| 資料番号 | |
| 巻番号（vol） | vol.97 |
| 号番号（no） | 623 |
| ページ範囲 | pp.- |
| ページ数 | 8 |
| 発行日 | |