講演抄録/キーワード |
講演名 |
2017-03-13 13:10
3層Auto-Encoderに対するForward-propagation学習則の適用 黒澤忠将・○福村直博(豊橋技科大) NC2016-82 |
抄録 |
(和) |
Deep Learningの発展によって,Pre-trainingに使われる3層Auto-Encoderが注目されている.一方で生体運動制御における逆モデル学習法として,
誤差を順伝搬するForward-propagation学習則がある.この方法はシステム全体で恒等写像を学習するシステムにのみ適用でき,
従来の学習方法であるBack-propagation学習則に比べ高速に学習する一方で,発散しやすいという問題点がある.本研究では
この学習方法を恒等写像を学習するAuto-Encoderに適用し,FPを使った様々なアルゴリズムで学習を試みた.
またMNIST手書き文字を使用してPre-trainingへの応用を試みた. |
(英) |
By the development of Deep Learning, the concern over three-layer Auto-Encoder for Pre-training has risen.
On the other hand, a Forward-propagation learning rule that propagates errors forward as an inverse model learning method in biological motion control has been proposed.
This method can be applied only to a system that learns the identity mapping in the whole system and learns faster than the conventional learning method, Back-propagation learning rule.
However, learning is easy to divergence.
In this research, we apply this learning method to the Auto-Encoder which learns identity mapping and tried learning with various algorithms using FP.
Finally, we tried to apply it Pre-training using MNIST handwritten characters. |
キーワード |
(和) |
オートエンコーダー / 恒等写像 / 誤差順伝搬学習則 / 前学習 / / / / |
(英) |
Auto-Encoder / Identity mapping / Forward-propagation learning rule / Pre-training / / / / |
文献情報 |
信学技報, vol. 116, no. 521, NC2016-82, pp. 109-114, 2017年3月. |
資料番号 |
NC2016-82 |
発行日 |
2017-03-06 (NC) |
ISSN |
Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 |
著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) |
PDFダウンロード |
NC2016-82 |