講演抄録/キーワード |
講演名 |
2019-03-05 09:30
エネルギー考慮したバックプロパゲーション ○金田麟太郎・萩原将文(慶大) NC2018-63 |
抄録 |
(和) |
本稿では,ネットワークのエネルギーを考慮したバックプロパゲーションアルゴリズム(BP)を提案する.ニューラルネットワーク(NN)は,階層型と相互結合型に分類できる.学習における評価関数はそれぞれ誤差,エネルギーが一般的である.しかし,誤差ではネットワークの内部状態は考慮されていない.それに対して,エネルギーはネットワークの内部状態が考慮されている.そこで,階層型ネットワークの内部状態を考慮可能にするためにエネルギーを定義し,各層間で正解出力に対するエネルギーと実際のエネルギーの差を用いたアルゴリズムを考案した. 既存のBPとの比較をクラス分類タスクで行った結果,学習の収束が早まりかつ精度向上の可能性とノイズへの頑健性があることが確認された. |
(英) |
In this paper, we propose a novel backpropagation(BP) algorithm considering energy. Neural network (NN) can be classified as the feedfoward type and the interconnecting type. In general, the evaluation function in learning is error in the feedfoward type and energy in the interconnecting type. However, the internal state of the network isn't considered in the error. On the other hand, the internal state of the network is considered in the energy. Therefore, we defined the energy so that the internal state of the feedfoward network could be considered. And, we propose an algorithm that uses the difference between the energy for correct answer output and the actual energy in each layer so that the energy becomes lower. In the evaluation experiments, we compared with existing BP using classification tasks. As a result, it is confirmed that convergence of learning is accelerated and there remains possibility of improvement of accuracy and robustness to noise. |
キーワード |
(和) |
バックプロパゲーション / ニューラルネットワーク / エネルギー / 情報量 / / / / |
(英) |
backpropagation / neural network / energy / information amount / / / / |
文献情報 |
信学技報, vol. 118, no. 470, NC2018-63, pp. 105-110, 2019年3月. |
資料番号 |
NC2018-63 |
発行日 |
2019-02-25 (NC) |
ISSN |
Online edition: ISSN 2432-6380 |
著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) |
PDFダウンロード |
NC2018-63 |