講演抄録/キーワード |
講演名 |
2014-03-18 16:00
因果トレース ~ 並列かつ主観的時間スケールの導入による過去の処理の効率的学習 ~ ○柴田克成(大分大) NC2013-115 |
抄録 |
(和) |
途切れることなく続く時間の中で,「主観的時間」の基本概念の下,ニューラルネットで効率よく過去の処理を学習する汎用的な手法として「因果トレース」を提案する。各ニューロンの各結合に対して割り当てられたトレースは,そのニューロンの出力の時間変化の大きさに応じて当該入力を取り込み,出力に変化がないときはその値を保持する。これによって,過去の重要な事象(イベント)のみをローカルなメモリに記憶し,保持し,現在の強化信号や教師信号から過去の処理に対して,効果的に学習を行うことができる。学習によって,何が重要な事象であるかも獲得され,ニューロン間で時間軸上のどの事象に反応するかの役割分担も促進される。時間軸という観点から見ると,ニューラルネット内部に,並列かつ一様でない主観的な時間スケールが存在することになる。本論文では,この因果トレースが,ニューラルネットを用いた評価値のTD学習とリカレントネットの教師あり学習の両者に適用できることを示すとともに,適用方法の相違点を示す。さらに,継続時間が長い状態と短い状態が混在する状態価値のTD学習タスクにおける因果トレースの高い学習性能と学習によるニューロン間での時間軸上の役割分担の促進を示す。 |
(英) |
As a general method for effective retrospective learning in uninterrupted time based on the concept of ``subjective time'', ``causality trace'' is introduced. A trace, which is assigned at each connection in each neuron, takes in the corresponding input signal according to the temporal change in the neuron's output. This enables to memorize only past important events, to hold them in its local memory, and to learn the past processes effectively. Through learning, the criteria of what is important is acqquired, and the division of roles in the time axis among neurons is promoted. From the viewpoint of time, there are parallel, non-uniform and subjective time scales in the neural network. The causality traces can be applied to value learning with a neural network, and also to the learning of recurrent neural networks though the way of application is a bit different. A new simulation result in a value-learning task shows its effectiveness and the division of roles in the time axis among neurons through learning. |
キーワード |
(和) |
因果トレース / ニューラルネット / 強化学習 / 適格度トレース / 主観的時間 / 振り返り学習 / リカレントネット / 教師あり学習 |
(英) |
Causality Trace / Neural Network / Reinforcement Learning / Eligibility Trace / Subjective Time / Retrospective Learning / Recurrent Neural Network / Supervised Learning |
文献情報 |
信学技報, vol. 113, no. 500, NC2013-115, pp. 157-162, 2014年3月. |
資料番号 |
NC2013-115 |
発行日 |
2014-03-10 (NC) |
ISSN |
Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 |
著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) |
PDFダウンロード |
NC2013-115 |