| 講演名 | 2007-03-14 情報量の測り方による近似事後分布の性質の相違について 渡辺 一帆, 渡辺 澄夫, |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 近年、ベイズ推論を近似するための様々な手法が用いられている。近似法の多くは情報工学の諸問題においてその有効性が知られているにも関わらず、その近似精度や汎化性能などの性質はほとんど明らかにされていない。本研究では真の事後分布から近似分布までのカルバック情報量を最小化することによる近似法について考察し、パラメータの特定不能性をもつ学習モデルについて、その近似精度を評価する。近似分布から事後分布までの情報量を最小化する変分ベイズ法の場合と分布の拡がりや近似精度を比較し、2つの近似事後分布の性質の相違を示す。 |
| 抄録(英) | Some methods have been proposed and used for approximating Bayesian learning. Although they have provided efficient learning algorithms in various applications, their properties have little been investigated. In this paper, we focus on the two approximation schemes where the Kullback and reversed Kullback information between the approximating distribution and the exact Bayesian posterior distribution are minimized respectively over the factorizable distributions. Considering an example of Bayesian learning in the linear neural network, we show the differences between the two approximating distributions. |
| キーワード(和) | 近似ベイズ推論 / ベイズ事後分布 / カルバック情報量 / 線形ニューラルネットワーク |
| キーワード(英) | Approximate Bayesian Inference / Kullback Information / Linear Neural Networks |
| 資料番号 | NC2006-134 |
| 発行日 |
| 研究会情報 | |
| 研究会 | NC |
|---|---|
| 開催期間 | 2007/3/7(から1日開催) |
| 開催地（和） | |
| 開催地（英） | |
| テーマ（和） | |
| テーマ（英） | |
| 委員長氏名（和） | |
| 委員長氏名（英） | |
| 副委員長氏名（和） | |
| 副委員長氏名（英） | |
| 幹事氏名（和） | |
| 幹事氏名（英） | |
| 幹事補佐氏名（和） | |
| 幹事補佐氏名（英） | |
| 講演論文情報詳細 | |
| 申込み研究会 | Neurocomputing (NC) |
|---|---|
| 本文の言語 | ENG |
| タイトル（和） | 情報量の測り方による近似事後分布の性質の相違について |
| サブタイトル（和） | |
| タイトル（英） | On the Two Kullback Divergences in Approximating Bayesian Posterior Distributions |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 近似ベイズ推論 / Approximate Bayesian Inference |
| キーワード(2)（和/英） | ベイズ事後分布 / Kullback Information |
| キーワード(3)（和/英） | カルバック情報量 / Linear Neural Networks |
| キーワード(4)（和/英） | 線形ニューラルネットワーク |
| 第 1 著者 氏名（和/英） | 渡辺 一帆 / Kazuho WATANABE |
| 第 1 著者 所属（和/英） | 東京工業大学大学院総合理工学研究科知能システム科学専攻 Department of Computational Intelligence and Systems Science, Tokyo Institute of Technology |
| 第 2 著者 氏名（和/英） | 渡辺 澄夫 / Sumio WATANABE |
| 第 2 著者 所属（和/英） | 東京工業大学精密工学研究所 P&I Lab, Tokyo Institute of Technology |
| 発表年月日 | 2007-03-14 |
| 資料番号 | NC2006-134 |
| 巻番号（vol） | vol.106 |
| 号番号（no） | 588 |
| ページ範囲 | pp.- |
| ページ数 | 6 |
| 発行日 | |