講演抄録/キーワード |
講演名 |
2004-09-14 10:50
ホモトピー法に基づく階層型ニューラルネットワークの学習アルゴリズムに関する研究 富田親弘(静岡大)・吉田昌弘(シャープ)・○二宮 洋(湘南工科大)・浅井秀樹(静岡大) |
抄録 |
(和) |
階層型ニューラルネットワークにおける学習アルゴリズムには,学習速度の向上のために多くの勾配法が適用されている.しかし,勾配法に基づく最適化手法は,収束速度は速いが,局所的最小解に陥る可能性があるため初期値を慎重に選ぶ必要がある.
一方,回路シミュレーションの分野でホモトピー法と呼ばれる最適化手法が提案されている.この方法は,解曲線を探索することによって複数の解を求めていく方法である.また,この方法は大域収束性を持つ方法としても知られている.
本研究では,学習の成功率を向上させるため,ホモトピー法を階層型ニューラルネットワークにおける学習アルゴリズムに適用し,初期値によらず高い学習成功率を持つことを示す.また,ホモトピー法を用いることで汎化能力の異なる複数解を1つの初期値から求めることができることを示す. |
(英) |
Many kinds of gradient methods have been applied for learning of the feedforward neural networks in order to improve the learning speed and the convergence rate. However, the learning methods based on the gradient method are sensitive to the choice of initial values of the weight parameters and decrease the convergence because of the problem of local minima.
On the other hand, in the field of circuit simulation, the homotopy methods have been proposed to efficiently find out the solutions for the optimization problems. Homotopy methods trace the solution path for a problem and find some solutions.
In this research, we apply the homotopy method for the learning of the feedforward neural networks.This algorithm can prevent the problem of local minima. As a result, the proposed algorithm has better convergence rate for the learning. Fuerthermore, it is shown that this algorithm finds some solution from one set of initial values. |
キーワード |
(和) |
階層型ニューラルネットワーク / 学習アルゴリズム / ホモトピー法 / 最急降下法 / / / / |
(英) |
Multilayer Neural network / learning method / Homotopy method / Steepest Descent method / / / / |
文献情報 |
信学技報, vol. 104, no. 295, NLP2004-44, pp. 25-29, 2004年9月. |
資料番号 |
NLP2004-44 |
発行日 |
2004-09-07 (CAS, NLP) |
ISSN |
Print edition: ISSN 0913-5685 |
PDFダウンロード |
|
|