| 講演名 | 2005/3/23 non-iid パターンのモデル選択付き学習 山内 康一郎, 速水 治郎, |
|---|---|
| PDFダウンロードページ | PDFダウンロードページへ |
| 抄録(和) | 神経回路のオンライン学習では、提示されるサンプルが独立且つ同一の分布(i.i.d)から発生することを仮定しなければ正確に学習できない。しかし、一般には逐次的に提示されるサンプルが上記の条件を満たすとは限らない。このようなデータを、神経回路に対して学習させると、過去に記憶した事柄を忘却するという問題が生ずる。この現象はCatastrophic forgettingと呼ばれ、この解決を目指す手法が多く提案されている。その多くは、過去の学習サンプルの一部を新しいサンプルと共に再学習する手法となっている。だが、この再学習には時間がかかるため、即応を要求される領域での利用が難しい。これを解決するため筆者らは、運用時には丸暗記による高速学習を行い、運用を休止している夜間にモデル選択を含む遅い学習をおこなうことで、運用時の見掛け上の学習速度を高速化する手法を提案して来た。だが、このモデルであっても運用時の高速学習時に勾配法による学習法を併用するため、提示サンプルの提示順序よっては忘却を起こし、正確な学習ができない場合が存在した。そのため今回は、Generalized Regression Neural Network(GRNN)を併用することによってこの問題を解決する。さらに従来は夜間に行われていたモデル選択付きの学習を昼間の運用時にも実行できるよう拡張する。 |
| 抄録(英) | Incremental learning methods usually face a problem of forgetting. To avoid the problem, the system usually need to re-learn old instances again. The learning sometimes wastes long learning time. In contrast, k-Nearest Neighbors(k-NN) memorize new instances only by appending the new instances into its database so that k-NN do not waste learning time. However, k-NN waste a large amount of resources to record all instances. To solve the problem, this paper presents a model-based incremental learning system not only for function approximation but also for clustering. This method reduces appearant learning time by introducing sleep phase. Therefore, during wake phase, the system realizes recognition of known instances and memorizing unknown new instances simultaneously. On the other hand, during sleep phase, the system realizes model-selection for reduction of redundant hidden units. In this report, we propose the extended version of the above. Therefore. the new system employees the generalized regression neural network(GRNN) to memorize new instances to achieve stable learning of non independent and identical distributed (non-i.i.d) patterns. |
| キーワード(和) | 追加学習 / 睡眠 / モデル選択 |
| キーワード(英) | Incremental Learning / GRBF / GRNN / Sleep / Model Selection |
| 資料番号 | NC2004-216 |
| 発行日 |
| 研究会情報 | |
| 研究会 | NC |
|---|---|
| 開催期間 | 2005/3/23(から1日開催) |
| 開催地（和） | |
| 開催地（英） | |
| テーマ（和） | |
| テーマ（英） | |
| 委員長氏名（和） | |
| 委員長氏名（英） | |
| 副委員長氏名（和） | |
| 副委員長氏名（英） | |
| 幹事氏名（和） | |
| 幹事氏名（英） | |
| 幹事補佐氏名（和） | |
| 幹事補佐氏名（英） | |
| 講演論文情報詳細 | |
| 申込み研究会 | Neurocomputing (NC) |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | non-iid パターンのモデル選択付き学習 |
| サブタイトル（和） | |
| タイトル（英） | Learning of non-i.i.d samples and model-selection |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 追加学習 / Incremental Learning |
| キーワード(2)（和/英） | 睡眠 / GRBF |
| キーワード(3)（和/英） | モデル選択 / GRNN |
| 第 1 著者 氏名（和/英） | 山内 康一郎 / Koichiro YAMAUCHI |
| 第 1 著者 所属（和/英） | 北海道大学大学院情報科学研究科 Graduate School of Information Science and Technology, Hokkaido University |
| 第 2 著者 氏名（和/英） | 速水 治郎 / Jiro HAYAMI |
| 第 2 著者 所属（和/英） | 北海道大学大学院情報科学研究科 Graduate School of Information Science and Technology, Hokkaido University |
| 発表年月日 | 2005/3/23 |
| 資料番号 | NC2004-216 |
| 巻番号（vol） | vol.104 |
| 号番号（no） | 760 |
| ページ範囲 | pp.- |
| ページ数 | 6 |
| 発行日 | |