講演名 2010-12-19
神経回路網におけるベイズ学習規準DICとWAICの比較
渡辺 澄夫,
PDFダウンロードページ PDFダウンロードページへ
抄録(和) 階層型神経回路網は、パラメータと確率分布が一対一には対応せず、フイッシャー情報行列が正則でないため、統計的正則モデルの漸近理論を適用することはできないことが知られている。近年、我々は学習モデルが正則でも特異でも、真の分布が学習モデルで実現可能であってもなくても、サンプルの情報だけからべイズ汎化誤差の平均値を推測することができる広く使える情報量規準(WAIC)を導出した。本論文では、べイズ学習における偏差情報量規準(DIC)とWAICを理論および実験の両面から比較して次のことを明らかにする。学習モデルに対して真の分布が正則であるときにはWAICとDICは等価であり、どちらの平均値も汎化誤差の平均値と一致する。学習モデルに対して真の分布が特異であるときには、WAICとDICは漸近的に一致せず、WAICの平均値は汎化誤差の平均値と一致するが、DICの平均値は汎化誤差の平均値と一致しない。
抄録(英) Layered neural networks are singular statistical models, because the map taking parameters to probability distributions is not one-to-one and their Fisher information matrices are not positive definite. Recently, we proposed a widely applicable information criterion (WAIC) which enables us to estimate the average of the generalization error even if the true distribution is singular for and unrealizable by a learning machine. In this paper, we compare the widely applicable information criterion with the deviance information criterion (DIC), and show two results theoretically and experimentally. First, if the true distribution is regular for a learning machine, then WAIC and DIC are asymptotically equivalent to each other. Second, if the true distribution is singular for a learning machine, then the average of DIC is not equal to that of the generalization error, whereas the average of WAIC is equal to that of the generalization error.
キーワード(和) 代数幾何 / 学習理論 / 特異モデル
キーワード(英) Algebraic Geometry / Learning Theory / Singular Learning Machine
資料番号 MBE2010-69,NC2010-80
発行日

研究会情報
研究会 NC
開催期間 2010/12/12(から1日開催)
開催地(和)
開催地(英)
テーマ(和)
テーマ(英)
委員長氏名(和)
委員長氏名(英)
副委員長氏名(和)
副委員長氏名(英)
幹事氏名(和)
幹事氏名(英)
幹事補佐氏名(和)
幹事補佐氏名(英)

講演論文情報詳細
申込み研究会 Neurocomputing (NC)
本文の言語 JPN
タイトル(和) 神経回路網におけるベイズ学習規準DICとWAICの比較
サブタイトル(和)
タイトル(英) Comparison of DIC and WAIC in Neural Bayes Learning
サブタイトル(和)
キーワード(1)(和/英) 代数幾何 / Algebraic Geometry
キーワード(2)(和/英) 学習理論 / Learning Theory
キーワード(3)(和/英) 特異モデル / Singular Learning Machine
第 1 著者 氏名(和/英) 渡辺 澄夫 / Sumio WATANABE
第 1 著者 所属(和/英) 東京工業大学精密工学研究所
Tokyo Institute of Technology Precision and Intellignce Laboratory
発表年月日 2010-12-19
資料番号 MBE2010-69,NC2010-80
巻番号(vol) vol.110
号番号(no) 355
ページ範囲 pp.-
ページ数 6
発行日