電子情報通信学会 研究会発表申込システム
講演論文 詳細
技報閲覧サービス
技報オンライン
‥‥ (ESS/通ソ/エレソ/ISS)
技報アーカイブ
‥‥ (エレソ/通ソ)
 トップに戻る 前のページに戻る   [Japanese] / [English] 

講演抄録/キーワード
講演名 2013-11-12 15:45
[ポスター講演]最急降下法とMCMC法による情報量規準WBICに基づく階層型ニューラルネットワークのモデル選択
玉井雄介渡辺澄夫東工大
技報オンラインサービス実施中
抄録 (和) 神経回路網・混合正規分布・隠れマルコフモデルに代表されるような階層構造・隠れた変数・文法構造を含む学習モデルはパラメータと確率密度関数の対応が一対一ではなくフィッシャー情報行列が正則でないため,正則モデルの統計的漸近論を適用することができず,AIC, BIC, DIC などの従来の規準ではモデルの選択を行うことができなかった.近年,事後分布が正規分布で近似できない場合でも,ベイズ対数周辺尤度(ベイズ自由エネルギー)の漸近値を計算することができる情報量規準WBIC が提案された.与えられたデータに対してWBIC を算出するためにはサンプル数をn とするとき逆温度1= log n の事後分布を実現する必要があるが,非線形性の強い学習モデルにおいてはマルコフ連鎖モンテカルロ法の初期値の影響が消えるまでの手続きの繰り返し(バーンイン)をどのように設定するべきであるかが不明であった.本研究では,バーンインの代わりに最急降下法を用いる方法を提案する.また提案法により非線形な学習モデルにおいても比較的容易に初期値の影響を消すことができ,より正確にWBIC の値を求めることができることを実験的に明らかにする. 
(英) Many learning machines such as neural networks, normal mixtures, and hidden Markov Models contain hierarchical layers, hidden variables, or grammatical rules, resulting that they are not regular statistical models,
because the map taking a parameter to a probability density function is not one-to-one or the Fisher information matrix is not invertible. For a nonregular statistical model, we can not apply conventional information criteria such as AIC, BIC, or DIC. Recently, a new information criterion, WBIC, was proposed which estimates the Bayes log marginal likelihood even if the posterior distribution can not be approximated by any normal distribution. In calculation of WBIC, we need to numerically make the posterior distribution with the inverse temperature 1= log n, where n is the number of training samples. In this paper, we propose a new method in which the steepest descent is employed instead of burn-in, and show experimentally its effectiveness of numerianl calculation of WBIC.
キーワード (和) ニューラルネット / WBIC / メトロポリス法 / 最急降下法 / バーンイン / / /  
(英) Neural networks / WBIC / Metropolis method / Steepest Decsent / Burn-in / / /  
文献情報 信学技報, vol. 113, no. 286, IBISML2013-36, pp. 1-6, 2013年11月.
資料番号 IBISML2013-36 
発行日 2013-11-05 (IBISML) 
ISSN Print edition: ISSN 0913-5685  Online edition: ISSN 2432-6380

研究会情報
研究会 IBISML  
開催期間 2013-11-10 - 2013-11-13 
開催地(和) 東京工業大学 蔵前会館 
開催地(英) Tokyo Institute of Technology, Kuramae-Kaikan 
テーマ(和) 第16回情報論的学習理論ワークショップ & 第2回IBISMLチュートリアル 
テーマ(英) The 16th IBIS Workshop & The 2nd IBIS Tutorial 
講演論文情報の詳細
申込み研究会 IBISML 
会議コード 2013-11-IBISML 
本文の言語 日本語 
タイトル(和) 最急降下法とMCMC法による情報量規準WBICに基づく階層型ニューラルネットワークのモデル選択 
サブタイトル(和)  
タイトル(英) Model Selection of Layered Neural Networks using WBIC based on Steepest Descent and MCMC Method 
サブタイトル(英)  
キーワード(1)(和/英) ニューラルネット / Neural networks  
キーワード(2)(和/英) WBIC / WBIC  
キーワード(3)(和/英) メトロポリス法 / Metropolis method  
キーワード(4)(和/英) 最急降下法 / Steepest Decsent  
キーワード(5)(和/英) バーンイン / Burn-in  
キーワード(6)(和/英) /  
キーワード(7)(和/英) /  
キーワード(8)(和/英) /  
第1著者 氏名(和/英/ヨミ) 玉井 雄介 / Yusuke Tamai / タマイ ユウスケ
第1著者 所属(和/英) 東京工業大学 (略称: 東工大)
Tokyo Institute of Technology (略称: Tokyo Inst. of Tech.)
第2著者 氏名(和/英/ヨミ) 渡辺 澄夫 / Sumio Watanabe /
第2著者 所属(和/英) 東京工業大学 (略称: 東工大)
Tokyo Institute of Technology (略称: Tokyo Inst. of Tech.)
第3著者 氏名(和/英/ヨミ) / /
第3著者 所属(和/英) (略称: )
(略称: )
第4著者 氏名(和/英/ヨミ) / /
第4著者 所属(和/英) (略称: )
(略称: )
第5著者 氏名(和/英/ヨミ) / /
第5著者 所属(和/英) (略称: )
(略称: )
第6著者 氏名(和/英/ヨミ) / /
第6著者 所属(和/英) (略称: )
(略称: )
第7著者 氏名(和/英/ヨミ) / /
第7著者 所属(和/英) (略称: )
(略称: )
第8著者 氏名(和/英/ヨミ) / /
第8著者 所属(和/英) (略称: )
(略称: )
第9著者 氏名(和/英/ヨミ) / /
第9著者 所属(和/英) (略称: )
(略称: )
第10著者 氏名(和/英/ヨミ) / /
第10著者 所属(和/英) (略称: )
(略称: )
第11著者 氏名(和/英/ヨミ) / /
第11著者 所属(和/英) (略称: )
(略称: )
第12著者 氏名(和/英/ヨミ) / /
第12著者 所属(和/英) (略称: )
(略称: )
第13著者 氏名(和/英/ヨミ) / /
第13著者 所属(和/英) (略称: )
(略称: )
第14著者 氏名(和/英/ヨミ) / /
第14著者 所属(和/英) (略称: )
(略称: )
第15著者 氏名(和/英/ヨミ) / /
第15著者 所属(和/英) (略称: )
(略称: )
第16著者 氏名(和/英/ヨミ) / /
第16著者 所属(和/英) (略称: )
(略称: )
第17著者 氏名(和/英/ヨミ) / /
第17著者 所属(和/英) (略称: )
(略称: )
第18著者 氏名(和/英/ヨミ) / /
第18著者 所属(和/英) (略称: )
(略称: )
第19著者 氏名(和/英/ヨミ) / /
第19著者 所属(和/英) (略称: )
(略称: )
第20著者 氏名(和/英/ヨミ) / /
第20著者 所属(和/英) (略称: )
(略称: )
講演者
発表日時 2013-11-12 15:45:00 
発表時間 180 
申込先研究会 IBISML 
資料番号 IEICE-IBISML2013-36 
巻番号(vol) IEICE-113 
号番号(no) no.286 
ページ範囲 pp.1-6 
ページ数 IEICE-6 
発行日 IEICE-IBISML-2013-11-05 


[研究会発表申込システムのトップページに戻る]

[電子情報通信学会ホームページ]


IEICE / 電子情報通信学会