| 講演名 | 1996/3/18 階層型ニューラルネットワークの混合モデルによるベイズ最適な予測について 橋川 弘紀, 後藤 正幸, 俵 信彦, |
|---|---|
| PDFダウンロードページ | PDFダウンロードページへ |
| 抄録(和) | 確率モデルの学習問題において, 学習データと同じ母集団のデータ(未学習データ)の出力を精度高く予測することが重要であり, モデル選択は一つの解決方法となっている. しかし, 目的を未学習データの出力の予測と考えた場合, 必ずしもモデルを一つに限定する必要はなく, このとき要求されるのは, 精度の高い予測を行うことである. このような予測を考慮した確率モデルを構築する方法として, ベイズ決定理論に基づいた学習理論が広く研究されている. 本稿ではまず, 候補である複数のNNモデル全ての混合モデルを用いて予測することがベイズ最適であることを示す. しかし, このベイズ最適をNNモデルに対して厳密に計算しようとすると, パラメータ空間上の複雑な積分操作が必要になり, 計算不可能になってしまう. そこで, ラプラスの方法を用いて, この積分操作を排除し, 漸近近似的に事後予測分布を計算することによるベイス最適なNNモデルの予測法を提案する. |
| 抄録(英) | In learning of the probabilistic models, it is important to predict accurately for the output of future observation. On prediction of the future observation, it is not necessary to select a particular model from the model class. The objective here is to predict the output of the future observations accurately. On the other hand, a lot of researches of the prediction methods based on Bayes decision theory for the probabilistic models have been reported. These Bayesian methods are efficient to the prediction with accuracy. In this paper, we, at first, show that the prediction using the mixture model of all neural network models in the model class is bayes optimal. However, this mixture model is difficult to calculate strictly for neural network models, since the complex integration on the parameter space is cannot be calculated for the general priors. We, therefore, propose the new prediction method with asymptotic Bayes optimality, based on Laplacian method which calculates the asymptotic posterior predictive distribution and then removes the integration, apply this method to the multilayer neural network models and verify the efficiency of the proposal through the simulation experiments. |
| キーワード(和) | ニューラルネットワーク / ベイズ決定理論 / 混合モデル / 汎化能力 |
| キーワード(英) | Neural Network / Bayes Decision Theory / Mixture Model / Generalization |
| 資料番号 | NC-95-121 |
| 発行日 |
| 研究会情報 | |
| 研究会 | NC |
|---|---|
| 開催期間 | 1996/3/18(から1日開催) |
| 開催地（和） | |
| 開催地（英） | |
| テーマ（和） | |
| テーマ（英） | |
| 委員長氏名（和） | |
| 委員長氏名（英） | |
| 副委員長氏名（和） | |
| 副委員長氏名（英） | |
| 幹事氏名（和） | |
| 幹事氏名（英） | |
| 幹事補佐氏名（和） | |
| 幹事補佐氏名（英） | |
| 講演論文情報詳細 | |
| 申込み研究会 | Neurocomputing (NC) |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 階層型ニューラルネットワークの混合モデルによるベイズ最適な予測について |
| サブタイトル（和） | |
| タイトル（英） | On Bayes Optimal Prediction based on Mixture Model of Multilayer Neural Networks |
| サブタイトル（和） | |
| キーワード(1)（和/英） | ニューラルネットワーク / Neural Network |
| キーワード(2)（和/英） | ベイズ決定理論 / Bayes Decision Theory |
| キーワード(3)（和/英） | 混合モデル / Mixture Model |
| キーワード(4)（和/英） | 汎化能力 / Generalization |
| 第 1 著者 氏名（和/英） | 橋川 弘紀 / Hiroki Hashikawa |
| 第 1 著者 所属（和/英） | 武蔵工業大学 Musashi Institute of Technology |
| 第 2 著者 氏名（和/英） | 後藤 正幸 / Masayuki Gotoh |
| 第 2 著者 所属（和/英） | 早稲田大学 Waseda University |
| 第 3 著者 氏名（和/英） | 俵 信彦 / Nobuhiko Tawara |
| 第 3 著者 所属（和/英） | 武蔵工業大学 Musashi Institute of Technology |
| 発表年月日 | 1996/3/18 |
| 資料番号 | NC-95-121 |
| 巻番号（vol） | vol.95 |
| 号番号（no） | 598 |
| ページ範囲 | pp.- |
| ページ数 | 8 |
| 発行日 | |