| 講演抄録／キーワード |
| 講演名 |
2006-03-15 11:00
線形逆問題における階層変分ベイズ法の解析
○中島伸一・渡辺澄夫（東工大） |
| 抄録 |
（和） |
特異モデルにおいては，
一般にベイズ法が最尤法よりも良い汎化性能を示すことが知られている．
しかし，ベイズ事後分布を精度良く近似するためには膨大な計算量が必要である．
変分ベイズ法は，
ベイズ事後分布を近似する効率よいアルゴリズムとして提案され，
良い汎化性能を示すことが実験的に示されている．
近年，
線形逆問題おける有効信号路自動決定モデル（階層ベイズ法）にも
変分ベイズ法が適用され，
脳活動を同定するためのMEGデータ解析に利用された．
一方，我々は過去に，
最も簡単な特異モデルである3層線形神経回路網（縮小ランク回帰モデル）において，
変分ベイズ法がJames-Stein型縮小推定と漸近的に等価であることを示し，
その汎化性能を理論的に解明した．
本論では，
線型問題における有効信号路自動決定モデルと，
線形神経回路網との類似性に着目し，
MEGデータ解析に用いられた変分ベイズ法について，理論解析を行う．
その結果，
この方法がやはり縮小推定と密接に関連しており，
有効信号路を決定するメカニズムが，
ある種の相転移によって引き起こされることを示す． |
| （英） |
It is known that,
in singular models,
the Bayes estimation commonly has the advantage of generalization performance
over the maximum likelihood estimation,
however,
its accurate approximation
requires huge computational costs.
The variational Bayes (VB) approach has been
proposed as a tractable approximation method of the Bayes estimation,
and shown good generalization performance in many applications.
Recently,
the VB approach has been applied
to the automatic relevance determination model (ARD),
a kind of hierarchical Bayesian learning,
in brain current estimation from MEG data,
a practical linear inverse problem.
On the other hand,
we have been proved that,
in three-layer linear neural networks (LNNs),
the VB approach is asymptotically equivalent
to the James-Stein type shrinkage estimation,
and theoretically clarified its generalization performance.
In this paper,
noting the similarity between the ARD in a linear problem
and an LNN,
we analyze a simplified version of the VB approach in the ARD.
We will show its relation to the shrinkage estimation,
and the fact that the relevance determination is caused by a kind of phase transition. |
| キーワード |
（和） |
変分ベイズ / 階層ベイズ / 有効信号路自動決定モデル / 縮小推定 / MEG / / / |
| （英） |
variational Bayes / hierarchical Bayes / automatic relevance determination / shrinkage estimation / MEG / / / |
| 文献情報 |
信学技報, vol. 105, no. 657, NC2005-117, pp. 67-72, 2006年3月. |
| 資料番号 |
NC2005-117 |
| 発行日 |
2006-03-08 (NC) |
| ISSN |
Print edition: ISSN 0913-5685 |
| PDFダウンロード |
|
| 研究会情報 |
| 研究会 |
NC |
| 開催期間 |
2006-03-15 - 2006-03-17 |
| 開催地（和） |
玉川大学 |
| 開催地（英） |
Tamagawa University |
| テーマ（和） |
一般 |
| テーマ（英） |
General |
| 講演論文情報の詳細 |
| 申込み研究会 |
NC |
| 会議コード |
2006-03-NC |
| 本文の言語 |
英語（日本語タイトルあり） |
| タイトル（和） |
線形逆問題における階層変分ベイズ法の解析 |
| サブタイトル（和） |
|
| タイトル（英） |
Analysis of Hierarchical Variational Bayes Approach in Linear Inverse Problem |
| サブタイトル（英） |
|
| キーワード(1)（和/英） |
変分ベイズ / variational Bayes |
| キーワード(2)（和/英） |
階層ベイズ / hierarchical Bayes |
| キーワード(3)（和/英） |
有効信号路自動決定モデル / automatic relevance determination |
| キーワード(4)（和/英） |
縮小推定 / shrinkage estimation |
| キーワード(5)（和/英） |
MEG / MEG |
| キーワード(6)（和/英） |
/ |
| キーワード(7)（和/英） |
/ |
| キーワード(8)（和/英） |
/ |
| 第1著者 氏名（和/英/ヨミ） |
中島 伸一 / Shinichi Nakajima / |
| 第1著者 所属（和/英） |
東京工業大学 (略称： 東工大)
Tokyo Institute of Technology (略称： Tokyo Inst. of Tech./Nikon) |
| 第2著者 氏名（和/英/ヨミ） |
渡辺 澄夫 / Sumio Watanabe / |
| 第2著者 所属（和/英） |
東京工業大学 (略称： 東工大)
Tokyo Institute of Technology (略称： Tokyo Inst. of Tech./Nikon) |
| 第3著者 氏名（和/英/ヨミ） |
/ / |
| 第3著者 所属（和/英） |
(略称： )
(略称： ) |
| 第4著者 氏名（和/英/ヨミ） |
/ / |
| 第4著者 所属（和/英） |
(略称： )
(略称： ) |
| 第5著者 氏名（和/英/ヨミ） |
/ / |
| 第5著者 所属（和/英） |
(略称： )
(略称： ) |
| 第6著者 氏名（和/英/ヨミ） |
/ / |
| 第6著者 所属（和/英） |
(略称： )
(略称： ) |
| 第7著者 氏名（和/英/ヨミ） |
/ / |
| 第7著者 所属（和/英） |
(略称： )
(略称： ) |
| 第8著者 氏名（和/英/ヨミ） |
/ / |
| 第8著者 所属（和/英） |
(略称： )
(略称： ) |
| 第9著者 氏名（和/英/ヨミ） |
/ / |
| 第9著者 所属（和/英） |
(略称： )
(略称： ) |
| 第10著者 氏名（和/英/ヨミ） |
/ / |
| 第10著者 所属（和/英） |
(略称： )
(略称： ) |
| 第11著者 氏名（和/英/ヨミ） |
/ / |
| 第11著者 所属（和/英） |
(略称： )
(略称： ) |
| 第12著者 氏名（和/英/ヨミ） |
/ / |
| 第12著者 所属（和/英） |
(略称： )
(略称： ) |
| 第13著者 氏名（和/英/ヨミ） |
/ / |
| 第13著者 所属（和/英） |
(略称： )
(略称： ) |
| 第14著者 氏名（和/英/ヨミ） |
/ / |
| 第14著者 所属（和/英） |
(略称： )
(略称： ) |
| 第15著者 氏名（和/英/ヨミ） |
/ / |
| 第15著者 所属（和/英） |
(略称： )
(略称： ) |
| 第16著者 氏名（和/英/ヨミ） |
/ / |
| 第16著者 所属（和/英） |
(略称： )
(略称： ) |
| 第17著者 氏名（和/英/ヨミ） |
/ / |
| 第17著者 所属（和/英） |
(略称： )
(略称： ) |
| 第18著者 氏名（和/英/ヨミ） |
/ / |
| 第18著者 所属（和/英） |
(略称： )
(略称： ) |
| 第19著者 氏名（和/英/ヨミ） |
/ / |
| 第19著者 所属（和/英） |
(略称： )
(略称： ) |
| 第20著者 氏名（和/英/ヨミ） |
/ / |
| 第20著者 所属（和/英） |
(略称： )
(略称： ) |
| 講演者 |
第1著者 |
| 発表日時 |
2006-03-15 11:00:00 |
| 発表時間 |
25分 |
| 申込先研究会 |
NC |
| 資料番号 |
NC2005-117 |
| 巻番号（vol） |
vol.105 |
| 号番号（no） |
no.657 |
| ページ範囲 |
pp.67-72 |
| ページ数 |
6 |
| 発行日 |
2006-03-08 (NC) |
|