講演名 2009-03-11
学習理論における極限定理と特異ゆらぎの関係について
渡辺 澄夫,
PDFダウンロードページ PDFダウンロードページへ
抄録(和) ベイズ汎化誤差をB_g、ベイズ学習誤差をB_t、ギブス汎化誤差をG_g、ギブス学習誤差をG_t、汎関数分散をV、事後確率分布の逆温度をβとするとき、関係式E[B_g]=E[B_t]+βE[V]、E[G_g]=E[G_t]+βE[V]が成り立つ。これを学習の状態方程式という。学習誤差と汎関数分散はサンプルと学習モデルが与えられると真の分布を知らなくても計算できる。汎関数分散は特異ゆらぎと密接な関係を持つ。従来の論文で我々は、学習モデルが真の分布を含んでいるときには、フィッシャー情報行列が正則であっても特異であっても学習の状態方程式が成り立つことを証明した。この論文では、真の分布が学習モデルに含まれていない場合においても、フィッシャー情報行列が正則であれば、同じ式が成り立つことを示す。またその場合にはnVは、ある定数に確率収束することも示す。
抄録(英) Let B_g, B_t, G_g, G_t, and V be the Bayes generalization error, the Bayes training error, the Gibbs generalization error, the Gibbs training error, and the functional variance, respectively. If the α posteriori distribution with the inverse temperature β>0 is employed, then the equations of states in learning, E[B_g]=E[B_t]+βE[V] and E[G_g]=E[G_t]+βE[V], hold. Hence B_t+βV and G_t+βV can be applied to model selection and hyperparameter optimization. In the previous papers, we proved these equations on the assumption that the true distribution is contained in the learning machine and that Fisher information matrix is singular. In this paper, we prove the same equations hold on the assumption that the true distribution is not contained in the learning machine and that Fisher information matrix is positive definite. Also we show nV converges to a constant in probability.
キーワード(和) 特異モデル / ベイズ法 / 学習誤差 / 汎化誤差 / 情報量規準
キーワード(英) Singular learning machines / Bayes generalization error / Bayes training error / Gibbs generalization error / Gibbs training error
資料番号 NC2008-111
発行日

研究会情報
研究会 NC
開催期間 2009/3/4(から1日開催)
開催地(和)
開催地(英)
テーマ(和)
テーマ(英)
委員長氏名(和)
委員長氏名(英)
副委員長氏名(和)
副委員長氏名(英)
幹事氏名(和)
幹事氏名(英)
幹事補佐氏名(和)
幹事補佐氏名(英)

講演論文情報詳細
申込み研究会 Neurocomputing (NC)
本文の言語 JPN
タイトル(和) 学習理論における極限定理と特異ゆらぎの関係について
サブタイトル(和)
タイトル(英) On a Relation between a Limit Theorem in Learning Theory and Singular Fluctuation
サブタイトル(和)
キーワード(1)(和/英) 特異モデル / Singular learning machines
キーワード(2)(和/英) ベイズ法 / Bayes generalization error
キーワード(3)(和/英) 学習誤差 / Bayes training error
キーワード(4)(和/英) 汎化誤差 / Gibbs generalization error
キーワード(5)(和/英) 情報量規準 / Gibbs training error
第 1 著者 氏名(和/英) 渡辺 澄夫 / Sumio WATANABE
第 1 著者 所属(和/英) 東京工業大学精密工学研究所
Tokyo Institute of Technology, PI Lab
発表年月日 2009-03-11
資料番号 NC2008-111
巻番号(vol) vol.108
号番号(no) 480
ページ範囲 pp.-
ページ数 6
発行日