講演名 2005/10/11
線形神経回路網における部分空間ベイズ法の解析 : ベイズ的推定法と縮小推定との関係(一般, 脳・ヒューマンモデリング, 一般)
中島 伸一, 渡辺 澄夫,
PDFダウンロードページ PDFダウンロードページへ
抄録(和) 神経回路網や混合分布モデルなどの特異モデルは, 正則モデルとは異なる汎化性能を示す.近年の研究によると, 一般に正則モデルと比較して, 最尤法では過学習しやすく, ベイズ法では過学習しにくいことが知られている.従って特異モデルの学習においては, ベイズ法を用いることが望ましいのであるが, 事後分布を実現するための方法であるマルコフ連鎖モンテカルロ法は, 膨大な計算量を必要とする.このため, 変分ベイズ法などの近似手法が提案されている.本論では, 別の近似方法である, 部分空間ベイズ法についてその汎化性能を解析し, 縮小推定, 変分ベイズ法との関係を議論する.得られた結論は以下である.3層線形神経回路網において, 部分空間ベイズ法はJame-Stein型縮小推定と漸近等価であり, 多くの場合, ベイズ法に匹敵する汎化性能を示す.また, 変分ベイズ法とも強く関連している.
抄録(英) It is well known that the generalization performance of unidentifiable models differs from that of the regular models. According to recent works, it is known that the Bayes estimation has the advantage over the maximum likelihood estimation. However, accurate approximation of the posterior distribution requires huge computational costs. In this paper, we consider an alternative approximation method, which we call a subspace Bayes approach, and discuss the relation to the shrinkage estimation and the variational Bayes approach. We show that, in three-layer linear neural networks, the subspace Bayes approach is asymptotically equivalent to a positive-part James-Stein type shrinkage estimation, that it provides as good generalization performance as the Bayes estimation in typical cases, and that it is strongly related to the variational Bayes approach.
キーワード(和) 部分空間ベイズ / 経験ベイズ / 変分ベイズ / 縮小推定 / 神経回路網 / 特異モデル
キーワード(英) subspace Bayes / empirical Bayes / variational Bayes / shrinkage / neural networks / singular model
資料番号 NC2005-49
発行日

研究会情報
研究会 NC
開催期間 2005/10/11(から1日開催)
開催地(和)
開催地(英)
テーマ(和)
テーマ(英)
委員長氏名(和)
委員長氏名(英)
副委員長氏名(和)
副委員長氏名(英)
幹事氏名(和)
幹事氏名(英)
幹事補佐氏名(和)
幹事補佐氏名(英)

講演論文情報詳細
申込み研究会 Neurocomputing (NC)
本文の言語 JPN
タイトル(和) 線形神経回路網における部分空間ベイズ法の解析 : ベイズ的推定法と縮小推定との関係(一般, 脳・ヒューマンモデリング, 一般)
サブタイトル(和)
タイトル(英) Analysis of Subspace Bayes Approach in Linear Neural Networks : Relation between Baysian Approach and Shrinkage Estimation
サブタイトル(和)
キーワード(1)(和/英) 部分空間ベイズ / subspace Bayes
キーワード(2)(和/英) 経験ベイズ / empirical Bayes
キーワード(3)(和/英) 変分ベイズ / variational Bayes
キーワード(4)(和/英) 縮小推定 / shrinkage
キーワード(5)(和/英) 神経回路網 / neural networks
キーワード(6)(和/英) 特異モデル / singular model
第 1 著者 氏名(和/英) 中島 伸一 / Shinichi NAKAJIMA
第 1 著者 所属(和/英) 東京工業大学総合理工学研究科:株式会社ニコン
Tokyo Institute of Technology:Nikon Corporation
第 2 著者 氏名(和/英) 渡辺 澄夫 / Sumio WATANABE
第 2 著者 所属(和/英) 東京工業大学総合理工学研究科
Tokyo Institute of Technology
発表年月日 2005/10/11
資料番号 NC2005-49
巻番号(vol) vol.105
号番号(no) 342
ページ範囲 pp.-
ページ数 6
発行日