| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2013-11-12 15:45 ［ポスター講演］最急降下法とMCMC法による情報量規準WBICに基づく階層型ニューラルネットワークのモデル選択 ○玉井雄介・渡辺澄夫（東工大）  IBISML2013-36 |
|
| 抄録 | （和） | 神経回路網・混合正規分布・隠れマルコフモデルに代表されるような階層構造・隠れた変数・文法構造を含む学習モデルはパラメータと確率密度関数の対応が一対一ではなくフィッシャー情報行列が正則でないため，正則モデルの統計的漸近論を適用することができず，AIC, BIC, DIC などの従来の規準ではモデルの選択を行うことができなかった．近年，事後分布が正規分布で近似できない場合でも，ベイズ対数周辺尤度（ベイズ自由エネルギー）の漸近値を計算することができる情報量規準WBIC が提案された．与えられたデータに対してWBIC を算出するためにはサンプル数をn とするとき逆温度1= log n の事後分布を実現する必要があるが，非線形性の強い学習モデルにおいてはマルコフ連鎖モンテカルロ法の初期値の影響が消えるまでの手続きの繰り返し（バーンイン）をどのように設定するべきであるかが不明であった．本研究では，バーンインの代わりに最急降下法を用いる方法を提案する．また提案法により非線形な学習モデルにおいても比較的容易に初期値の影響を消すことができ，より正確にWBIC の値を求めることができることを実験的に明らかにする． |
| （英） | Many learning machines such as neural networks, normal mixtures, and hidden Markov Models contain hierarchical layers, hidden variables, or grammatical rules, resulting that they are not regular statistical models, because the map taking a parameter to a probability density function is not one-to-one or the Fisher information matrix is not invertible. For a nonregular statistical model, we can not apply conventional information criteria such as AIC, BIC, or DIC. Recently, a new information criterion, WBIC, was proposed which estimates the Bayes log marginal likelihood even if the posterior distribution can not be approximated by any normal distribution. In calculation of WBIC, we need to numerically make the posterior distribution with the inverse temperature 1= log n, where n is the number of training samples. In this paper, we propose a new method in which the steepest descent is employed instead of burn-in, and show experimentally its effectiveness of numerianl calculation of WBIC. |
|
| キーワード | （和） | ニューラルネット / WBIC / メトロポリス法 / 最急降下法 / バーンイン / / / |
| （英） | Neural networks / WBIC / Metropolis method / Steepest Decsent / Burn-in / / / | |
| 文献情報 | 信学技報, vol. 113, no. 286, IBISML2013-36, pp. 1-6, 2013年11月. | |
| 資料番号 | IBISML2013-36 | |
| 発行日 | 2013-11-05 (IBISML) | |
| ISSN | Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | IBISML2013-36 |
|
| 研究会情報 | |
| 研究会 | IBISML |
| 開催期間 | 2013-11-10 - 2013-11-13 |
| 開催地（和） | 東京工業大学 蔵前会館 |
| 開催地（英） | Tokyo Institute of Technology, Kuramae-Kaikan |
| テーマ（和） | 第16回情報論的学習理論ワークショップ & 第2回IBISMLチュートリアル |
| テーマ（英） | The 16th IBIS Workshop & The 2nd IBIS Tutorial |
| 講演論文情報の詳細 | |
| 申込み研究会 | IBISML |
| 会議コード | 2013-11-IBISML |
| 本文の言語 | 日本語 |
| タイトル（和） | 最急降下法とMCMC法による情報量規準WBICに基づく階層型ニューラルネットワークのモデル選択 |
| サブタイトル（和） | |
| タイトル（英） | Model Selection of Layered Neural Networks using WBIC based on Steepest Descent and MCMC Method |
| サブタイトル（英） | |
| キーワード(1)（和/英） | ニューラルネット / Neural networks |
| キーワード(2)（和/英） | WBIC / WBIC |
| キーワード(3)（和/英） | メトロポリス法 / Metropolis method |
| キーワード(4)（和/英） | 最急降下法 / Steepest Decsent |
| キーワード(5)（和/英） | バーンイン / Burn-in |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 玉井 雄介 / Yusuke Tamai / タマイ ユウスケ |
| 第1著者 所属（和/英） | 東京工業大学 (略称： 東工大) Tokyo Institute of Technology (略称： Tokyo Inst. of Tech.) |
| 第2著者 氏名（和/英/ヨミ） | 渡辺 澄夫 / Sumio Watanabe / |
| 第2著者 所属（和/英） | 東京工業大学 (略称： 東工大) Tokyo Institute of Technology (略称： Tokyo Inst. of Tech.) |
| 第3著者 氏名（和/英/ヨミ） | / / |
| 第3著者 所属（和/英） | (略称： ) (略称： ) |
| 第4著者 氏名（和/英/ヨミ） | / / |
| 第4著者 所属（和/英） | (略称： ) (略称： ) |
| 第5著者 氏名（和/英/ヨミ） | / / |
| 第5著者 所属（和/英） | (略称： ) (略称： ) |
| 第6著者 氏名（和/英/ヨミ） | / / |
| 第6著者 所属（和/英） | (略称： ) (略称： ) |
| 第7著者 氏名（和/英/ヨミ） | / / |
| 第7著者 所属（和/英） | (略称： ) (略称： ) |
| 第8著者 氏名（和/英/ヨミ） | / / |
| 第8著者 所属（和/英） | (略称： ) (略称： ) |
| 第9著者 氏名（和/英/ヨミ） | / / |
| 第9著者 所属（和/英） | (略称： ) (略称： ) |
| 第10著者 氏名（和/英/ヨミ） | / / |
| 第10著者 所属（和/英） | (略称： ) (略称： ) |
| 第11著者 氏名（和/英/ヨミ） | / / |
| 第11著者 所属（和/英） | (略称： ) (略称： ) |
| 第12著者 氏名（和/英/ヨミ） | / / |
| 第12著者 所属（和/英） | (略称： ) (略称： ) |
| 第13著者 氏名（和/英/ヨミ） | / / |
| 第13著者 所属（和/英） | (略称： ) (略称： ) |
| 第14著者 氏名（和/英/ヨミ） | / / |
| 第14著者 所属（和/英） | (略称： ) (略称： ) |
| 第15著者 氏名（和/英/ヨミ） | / / |
| 第15著者 所属（和/英） | (略称： ) (略称： ) |
| 第16著者 氏名（和/英/ヨミ） | / / |
| 第16著者 所属（和/英） | (略称： ) (略称： ) |
| 第17著者 氏名（和/英/ヨミ） | / / |
| 第17著者 所属（和/英） | (略称： ) (略称： ) |
| 第18著者 氏名（和/英/ヨミ） | / / |
| 第18著者 所属（和/英） | (略称： ) (略称： ) |
| 講演者 | 第1著者 |
| 発表日時 | 2013-11-12 15:45:00 |
| 発表時間 | 180分 |
| 申込先研究会 | IBISML |
| 資料番号 | IBISML2013-36 |
| 巻番号（vol） | vol.113 |
| 号番号（no） | no.286 |
| ページ範囲 | pp.1-6 |
| ページ数 | 6 |
| 発行日 | 2013-11-05 (IBISML) |
[研究会発表申込システムのトップページに戻る]