| 講演名 | 1994/3/25 パターン分類を行う階層形ニューラルネットワークにおける活性化関数の比較 原 一之, 中山 謙二, |
|---|---|
| PDFダウンロードページ | PDFダウンロードページへ |
| 抄録(和) | 多周波信号の分類を行う階層形ニュ-ラルネットワ-クにおける活性化関数の特性について議論する。経験則に基づいた単体の活性化関数またはその組み合わせのの選択法を提案する。活性化関数として、シグモイド関数、ラジアル基底関数、周期関数を取り上げる。これらの関数はそれぞれ独自の空間分離特性を持っている。各関数の単体、またはその組み合わせの特性をその内部表現を用いて解析した。つまり、多周波信号にノイズを加えた場合と加えない場合のおける隠れユニットの入出力分布およびその分類率及び、結合係数の解析である。シグモイド関数は隠れユニットが1個のときには有効でない。それに対して、周期関数、ラジアル基底関数は隠れユニットが1個の場合にも有効であった。隠れユニットを複数個用いた場合にはシグモイド関数は有効である。しかし、学習の収束速度は他の2個に比べて遅い。ラジアル基底関数は雑音の加わらない場合に有効である。一方、周期関数は雑音が加わった場合に有効である。これらの組み合わせと個々の特性には明確な相関はないが、それぞれの特性は残っており、最適な活性化関数の選択性の可能性がある。関数の選択は問題の特性に依存している。 |
| 抄録(英) | This paper discusses properties of activation functions in multilayer neural network applied to multi-frequency classification.A rule of thumb for selecting activation functions or their combination is proposed.The sigmoid,Gaussian and sinusoidal functions are employed due to their unique space division properties.Properties of each function and their combinations are discussed based on the internal representation, that is the distributions of the hidden unit inputs and outputs, classification rates with and without noise and the connection weight analysis.The sigmoid function is not effective for a single hidden unit.On the contrary,the other functions can provide good performance.When several hidden units are employed,the sigmqid function becomes useful.However,the convergence speed is still slower than the others.The Gaussian function is sensitive to the additive noise,while the others are rather insensitive.When noise is not included,the Gaussian function is most useful for the convergence rate and the classification accuracy.On the other hand, the additive noise is included,the sigmoid and sinusoidal functions become more effective.These properties are not straight in the combinations.However,their property still remain,and it is possible to select the optimum activation function.This selection also depends on the patterns to be classified. |
| キーワード(和) | 多層神経回路網 / パタ-ン分類 / 多周波信号 / 活性化関数 / 誤差逆伝 播法 |
| キーワード(英) | Multilayer Neural Network / Pattern classification / Multi- frequency Signal / Activation function / Back propagation |
| 資料番号 | NC93-114 |
| 発行日 |
| 研究会情報 | |
| 研究会 | NC |
|---|---|
| 開催期間 | 1994/3/25(から1日開催) |
| 開催地（和） | |
| 開催地（英） | |
| テーマ（和） | |
| テーマ（英） | |
| 委員長氏名（和） | |
| 委員長氏名（英） | |
| 副委員長氏名（和） | |
| 副委員長氏名（英） | |
| 幹事氏名（和） | |
| 幹事氏名（英） | |
| 幹事補佐氏名（和） | |
| 幹事補佐氏名（英） | |
| 講演論文情報詳細 | |
| 申込み研究会 | Neurocomputing (NC) |
|---|---|
| 本文の言語 | ENG |
| タイトル（和） | パターン分類を行う階層形ニューラルネットワークにおける活性化関数の比較 |
| サブタイトル（和） | |
| タイトル（英） | EFFECTS OF ACTIVATION FUNCTIONS IN MULTILAYER NEURAL NETWORK FOR NOISY PATTERN CLASSIFICATION |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 多層神経回路網 / Multilayer Neural Network |
| キーワード(2)（和/英） | パタ-ン分類 / Pattern classification |
| キーワード(3)（和/英） | 多周波信号 / Multi- frequency Signal |
| キーワード(4)（和/英） | 活性化関数 / Activation function |
| キーワード(5)（和/英） | 誤差逆伝 播法 / Back propagation |
| 第 1 著者 氏名（和/英） | 原 一之 / Kazuyuki Hara |
| 第 1 著者 所属（和/英） | 金沢大学大学院自然科学研究科 Groduate School of Natural Science and Technology,Kanazawa University |
| 第 2 著者 氏名（和/英） | 中山 謙二 / Kenji Nakayama |
| 第 2 著者 所属（和/英） | 金沢大学工学部電気・情報工学科 Department of Electrical and Computer Engineering,Faculty of Technology,Kanazawa University |
| 発表年月日 | 1994/3/25 |
| 資料番号 | NC93-114 |
| 巻番号（vol） | vol.93 |
| 号番号（no） | 537 |
| ページ範囲 | pp.- |
| ページ数 | 8 |
| 発行日 | |