講演抄録/キーワード |
講演名 |
2011-11-25 14:15
スパースコーディングされた新生ニューロンをもつ連想記憶モデルの相互情報量による最適化 ○綴木 馴(岡山理科大)・宮田龍太(東工大)・倉田耕治(琉球大) NC2011-83 |
抄録 |
(和) |
先攻研究により,新生ニューロンをもつ連想記憶モデルはオーバーロードを回避し,最近の記憶を安定して保持することが明らかになった.
ただしスパースコーディングの場合,新生ニューロンをもつ連想記憶のネットワークが何をもって想起成功したか判断するのが先行研究では恣意的だった.
近年,相互情報量により想起状態の質を測るのが最も良いことがわかってきた.
本研究では,スパースコーディングされた新生ニューロンをもつ連想記憶モデルについて,細胞新生数の最適化を相互情報量を用いた数値計算により行う. |
(英) |
According to the previous researches, the associative memory model with unit replacement, in which a few old units are replaced with new ones at each learning step for embedding a new pattern, could avoid overloading.
However, the previous researches decided whether the network could retrieve the
stored pattern correctly in an arbitrary manner, in other words, the direction cosine between the memory pattern and the stationary state of the sparsely encoded network.
Recently, it has been shown that the mutual information should be the most
appropriate concept to measure the retrieval quality, especially for sparsely
encoded networks but also in general.
In this paper, from the view of information theory, we analyze the sparsely encoded
associative memory model with unit replacement.
Moreover, we compare the unit replacement procedure with the forgetting process, which also avoids overloading, in terms of the mutual information.
We searched the optimal decay rate to maximize the mutual information at each firing
rate by the numerical simulations. |
キーワード |
(和) |
新生ニューロン / 連想記憶 / スパースコーディング / 相互情報量 / 壊滅的忘却 / オーバーロード / / |
(英) |
unit replacement / associative memory / sparse coding / mutual information / catastrophic forgetting / overloading / / |
文献情報 |
信学技報, vol. 111, no. 315, NC2011-83, pp. 65-70, 2011年11月. |
資料番号 |
NC2011-83 |
発行日 |
2011-11-17 (NC) |
ISSN |
Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 |
著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) |
PDFダウンロード |
NC2011-83 |
|