| 講演名 | 2011-07-25 素子数の制限されたkernelマシンの重要度重み付き追記学習(知的システム,一般) 山内 康一郎, |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 筆者は既に,は組み込み機器向け神経回路:Limited General Regression Neural Network (LGRNN)を提案した.LGRNNはGeneral Regression Neural Networkに中間ユニット数を一定個数に制限する機能を加えたものである.学習初期は通常のGRNNと同様に,新しいユニットを割付ることで学習していくが,中間ユニット数が上限に達すると,最も冗長なユニットをカーネル法を使って探しだし,これに似たカーネルに,その役割を少しづつ肩代わりさせた上で削除し,新しい学習サンプル対応する新しいユニットを割り付ける.しかしこれだけでは,新しいサンプルの学習が過去の記憶に影響を与え,忘却する恐れがある.そこで,この影響を事前に見積り,いくつかの学習オプションを適応的に選択するようになっている.例えば,新しいサンプルを学習することで,かえって過去の記憶の忘却による誤差が大きくなると予測される場合には,新しいサンプルの学習を拒否する場合もある.しかし,もしこの予測誤差の見積りに誤りがあって,学習すべき重要サンプルの学習を拒否したとすると,汎化誤差は減少しない.本稿ではこのLGRNNが汎化誤差の予測をより正確に行えるようにするために,各々の学習サンプルの重要度重みを設定し,これに応じた学習オプションの選択を行う手法を提案する. |
| 抄録(英) | The author had already presented a kernel machine for embedded systems, namely, Limited General Regression Neural Networks, whose number of kernels is limited to a certain number. The fundamental architecture of the learning machine is the same as the General Regression Neural Networks. Initially, the LGRNN learns new samples incrementally by allocating new hidden units. If the number of hidden units reaches the upper bound, the LGRNN has to remove one useless hidden unit to learn a new sample. However, there are cases in which the adverse effects of removing a useless unit are greater than the positive effects of learning the new sample. In this case, the LGRNN should refrain from learning the new sample. To achieve this, the LGRNN predicts the effects of several learning options (e.g., ignore or learning) before the learning process begins, and chooses the best learning option to be executed. On the other hand, there are cases where the LGRNN fails to get precise selection of the learning option to be executed when the prior distribution of input is changing drastically. To overcome this problem, a new LGRNN proposed here introduces an importance weight for each learning sample. The importance weight is calculated based on the novelty of the sample, a Experimental results show that the method successfully reduces errors even when the prior distribution is changed drastically. |
| キーワード(和) | Limited General Regression Neural Networks / 一般回路ニューラルネットワーク / Kernel Machine / Approximated Linear Dependency / 追記学習 / Importance Weight |
| キーワード(英) | Kernel Method / Limited General Regression Neural Networks (LGRNN) / Incremental Learning / Approximated Linear Dependency / Pruning with replacement / importance weight |
| 資料番号 | NC2011-28 |
| 発行日 |
| 研究会情報 | |
| 研究会 | NC |
|---|---|
| 開催期間 | 2011/7/18(から1日開催) |
| 開催地（和） | |
| 開催地（英） | |
| テーマ（和） | |
| テーマ（英） | |
| 委員長氏名（和） | |
| 委員長氏名（英） | |
| 副委員長氏名（和） | |
| 副委員長氏名（英） | |
| 幹事氏名（和） | |
| 幹事氏名（英） | |
| 幹事補佐氏名（和） | |
| 幹事補佐氏名（英） | |
| 講演論文情報詳細 | |
| 申込み研究会 | Neurocomputing (NC) |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 素子数の制限されたkernelマシンの重要度重み付き追記学習(知的システム,一般) |
| サブタイトル（和） | |
| タイトル（英） | Importance weighted incremental learning of a limited kernel machine |
| サブタイトル（和） | |
| キーワード(1)（和/英） | Limited General Regression Neural Networks / Kernel Method |
| キーワード(2)（和/英） | 一般回路ニューラルネットワーク / Limited General Regression Neural Networks (LGRNN) |
| キーワード(3)（和/英） | Kernel Machine / Incremental Learning |
| キーワード(4)（和/英） | Approximated Linear Dependency / Approximated Linear Dependency |
| キーワード(5)（和/英） | 追記学習 / Pruning with replacement |
| キーワード(6)（和/英） | Importance Weight / importance weight |
| 第 1 著者 氏名（和/英） | 山内 康一郎 / Koichiro YAMAUCHI |
| 第 1 著者 所属（和/英） | 中部大学工学部情報工学科 Chubu University Department of Information Science |
| 発表年月日 | 2011-07-25 |
| 資料番号 | NC2011-28 |
| 巻番号（vol） | vol.111 |
| 号番号（no） | 157 |
| ページ範囲 | pp.- |
| ページ数 | 6 |
| 発行日 | |