| 講演名 | 2000/3/14 局所解の回避と最適モデル探索を同時実現するVariational Bayes学習 上田 修功, |
|---|---|
| PDFダウンロードページ | PDFダウンロードページへ |
| 抄録(和) | 非線形モデルの学習における実用上の問題として, (1)局所最適性と, (2)モデルの複雑さの決定, がある.(1)については, 筆者は先に最尤法の枠組みでモデルの同時併合分割による局所解からの脱出とより良い解への誘導を図る併合分割操作付きEM(SMEM)アルゴリズムを考案し有効性を確認したが, 学習の際, モデルの複雑さは固定されていた.本稿では, SMEMアルゴリズムの"モデルの併合分割操作"の考え方をBayes学習の近似解法であるvariational Bayes法に導入し, 非線形モデルの上記(1), (2)の問題を同時解決する新たな学習法(モデル探索学習法)を提案する.さらに, 混合回帰モデルへの適用結果を示す. |
| 抄録(英) | When learning a nonlinear model, we suffer from two difficulties in practice : (1)the local optimal, and(2)appropriate model complexity determination problems. As for(1), I recently proposed the split and merge EM algorithm within the framework of the maximum likelihood by simulataneously spliting and merging model components, but the model complexity was fixed there. In this report, introducing the idea of "split and merge operations" in the SMEM algorithm into the variational Bayesian leaning framwork, I propose a new learning method to simultaneously solve both(1)and(2)problems. I apply the proposed method to mixture of experts models and show the usefulness of the method. |
| キーワード(和) | ベイズ学習 / 局所最適性 / 併合分割 / モデル探索 |
| キーワード(英) | Bayes learning / local optimal problem / split and merge / model search |
| 資料番号 | NC99-132 |
| 発行日 |
| 研究会情報 | |
| 研究会 | NC |
|---|---|
| 開催期間 | 2000/3/14(から1日開催) |
| 開催地（和） | |
| 開催地（英） | |
| テーマ（和） | |
| テーマ（英） | |
| 委員長氏名（和） | |
| 委員長氏名（英） | |
| 副委員長氏名（和） | |
| 副委員長氏名（英） | |
| 幹事氏名（和） | |
| 幹事氏名（英） | |
| 幹事補佐氏名（和） | |
| 幹事補佐氏名（英） | |
| 講演論文情報詳細 | |
| 申込み研究会 | Neurocomputing (NC) |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 局所解の回避と最適モデル探索を同時実現するVariational Bayes学習 |
| サブタイトル（和） | |
| タイトル（英） | Variational Bayesian Learning for Optimal Model Search over Parameter and Structure |
| サブタイトル（和） | |
| キーワード(1)（和/英） | ベイズ学習 / Bayes learning |
| キーワード(2)（和/英） | 局所最適性 / local optimal problem |
| キーワード(3)（和/英） | 併合分割 / split and merge |
| キーワード(4)（和/英） | モデル探索 / model search |
| 第 1 著者 氏名（和/英） | 上田 修功 / Naonori UEDA |
| 第 1 著者 所属（和/英） | NTTコミュニケーション科学基礎研究所 NTT Communication Science Laboratories |
| 発表年月日 | 2000/3/14 |
| 資料番号 | NC99-132 |
| 巻番号（vol） | vol.99 |
| 号番号（no） | 685 |
| ページ範囲 | pp.- |
| ページ数 | 8 |
| 発行日 | |