| 講演名 | 1999/5/20 ニューラルネットワークにおける非線形入力関数と活性化関数の同時学習法 井戸 一勢, 中山 謙二, 平野 晃弘, |
|---|---|
| PDFダウンロードページ | PDFダウンロードページへ |
| 抄録(和) | ニューラルネットワークでは、回路構造、結合荷重、活性化関数を最適化することにより、最小規模のネットワークで所望の機能を実現することが望ましい。活性化関数の学習に関して、1個の活性化関数を複数の基本関数の線形和で表現し、そのパラメータを結合荷重と同時に学習する方法が提案されている。この方法では、ユニットの入力ポテンシャルが各入力の線形和であり、この線形和に対してユニット出力が同一値となるという制約がある。本稿では、入出力関数の自由度を高めるために、ユニットの入力部を高次多項式により非線形化する方法を提案する。上記の活性化関数の学習と同時にこの入力非線形関数の学習も行うことにより、複雑な分類問題に対応できるニューラルネットワークの自動最適化可能となる。いくつかの分類問題に対するシミュレーション実験により、学習の収束特性が向上することや、ネットワーク規模が小さくできることが確認された。 |
| 抄録(英) | It is important to realize small size neural networks by which desired functions are achieved. Regarding the activation functions, a method was proposed, in which an abtivation function is composed of several basic functions. The unit input is given as a linear combination of the inputs. The unit output takes the same value for this linear combination. In this paper, a nonlinear function is used to express the unit input in order to expand a degree of freedom. The nonlinear function parameters and the above activation functions are simultaneously trained. More complex classification problems can be solved using a small size neural network. Fast and stable convergence and small size neural networks are confirmed through computer simulation using several classification problems. |
| キーワード(和) | ニューラルネットワーク / 活性化関数 / 非線形関数 / 同時学習 / 分類 |
| キーワード(英) | Neural networks / Activation function / Nonlinear function / Simultaneous learning / Classification |
| 資料番号 | NC99-8 |
| 発行日 |
| 研究会情報 | |
| 研究会 | NC |
|---|---|
| 開催期間 | 1999/5/20(から1日開催) |
| 開催地（和） | |
| 開催地（英） | |
| テーマ（和） | |
| テーマ（英） | |
| 委員長氏名（和） | |
| 委員長氏名（英） | |
| 副委員長氏名（和） | |
| 副委員長氏名（英） | |
| 幹事氏名（和） | |
| 幹事氏名（英） | |
| 幹事補佐氏名（和） | |
| 幹事補佐氏名（英） | |
| 講演論文情報詳細 | |
| 申込み研究会 | Neurocomputing (NC) |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | ニューラルネットワークにおける非線形入力関数と活性化関数の同時学習法 |
| サブタイトル（和） | |
| タイトル（英） | A Neural Network with Trainable Nonlinear Connections and Activation Functions and Its Learning Algorithm |
| サブタイトル（和） | |
| キーワード(1)（和/英） | ニューラルネットワーク / Neural networks |
| キーワード(2)（和/英） | 活性化関数 / Activation function |
| キーワード(3)（和/英） | 非線形関数 / Nonlinear function |
| キーワード(4)（和/英） | 同時学習 / Simultaneous learning |
| キーワード(5)（和/英） | 分類 / Classification |
| 第 1 著者 氏名（和/英） | 井戸 一勢 / Issei IDO |
| 第 1 著者 所属（和/英） | 金沢大学大学院自然科学研究科 電子情報システム専攻 Div. of Electronics and Computer Science, Master's Level Section Graduate School of Natural Science and Technology, Kanazawa University |
| 第 2 著者 氏名（和/英） | 中山 謙二 / Kenji NAKAYAMA |
| 第 2 著者 所属（和/英） | 金沢大学大学院自然科学研究科 電子情報システム専攻 Div. of Electronics and Computer Science, Master's Level Section Graduate School of Natural Science and Technology, Kanazawa University |
| 第 3 著者 氏名（和/英） | 平野 晃弘 / Akihiro HIRANO |
| 第 3 著者 所属（和/英） | 金沢大学大学院自然科学研究科 電子情報システム専攻 Div. of Electronics and Computer Science, Master's Level Section Graduate School of Natural Science and Technology, Kanazawa University |
| 発表年月日 | 1999/5/20 |
| 資料番号 | NC99-8 |
| 巻番号（vol） | vol.99 |
| 号番号（no） | 58 |
| ページ範囲 | pp.- |
| ページ数 | 8 |
| 発行日 | |