電子情報通信学会 研究会発表申込システム
講演論文 詳細
技報閲覧サービス
技報オンライン
‥‥ (ESS/通ソ/エレソ/ISS)
技報アーカイブ
‥‥ (エレソ/通ソ)
 トップに戻る 前のページに戻る   [Japanese] / [English] 

講演抄録/キーワード
講演名 2018-06-10 10:45
再帰型相互情報量最大化によって最適化した再帰型ニューラルネットワークの情報処理能力
岩出 尚京大)・中嶋浩平東大/JSTさきがけ)・田中琢真滋賀大)・青柳富誌生京大NLP2018-42 CCS2018-15
抄録 (和) 再帰型リカレントニューラルネットワーク(Recurrent Neural Network,以下RNN)が持つ固有のダイナミクスを計算資源として利用した情報処理フレームワークとしてリザバーコンピューティングが知られている.高い情報処理能力を持つ一方で,制御パラメータによる経験的な最適化が必要となる場合がある.本研究では,経験的な最適化の代替として再帰型情報量最大化(RI)を提案し,RIによって最適化されたRNNの情報処理能力について調べた.RIは教師無し学習の一つであり,ネットワーク内の結合強度を学習することで,RNNの時間方向の相互情報量を最大化する.その結果,ネットワーク内にdelay-line構造が出現し,ダイナミクスの中に過去のインプット情報を保持する能力である短期記憶容量が向上した. 
(英) Reservoir computing (RC) is known to be a novel information processing framework, which exploits the inherent transient dynamics of recurrent neural networks (RNNs) as a computational resource. RC possesses high information processing capability but, in some cases, the empirical optimization using the control parameters is required. In this study, we propose recurrent infomax (RI) as a alternative method to the empirical optimization. RI is an unsupervised learning scheme that maximizes the mutual information of RNNs by adjusting the connection strengths of the network. Concequently, a delay-line structure can be observed on the network optimized by RI and the network possesses superior short-term memory, which is the ability to encode the information of the input stream in its transient dynamics.
キーワード (和) 再帰型リカレントニューラルネットワーク / 再帰型相互情報量最大化 / / / / / /  
(英) recurrent neural network / recurrent infomax / / / / / /  
文献情報 信学技報, vol. 118, no. 76, CCS2018-15, pp. 79-84, 2018年6月.
資料番号 CCS2018-15 
発行日 2018-06-01 (NLP, CCS) 
ISSN Print edition: ISSN 0913-5685  Online edition: ISSN 2432-6380
著作権に
ついて
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034)
PDFダウンロード NLP2018-42 CCS2018-15

研究会情報
研究会 NLP CCS  
開催期間 2018-06-08 - 2018-06-10 
開催地(和) 京都テルサ 
開催地(英) Kyoto Terrsa 
テーマ(和) 同期,ネットワーク,一般 
テーマ(英) Synchronization, Networks, etc 
講演論文情報の詳細
申込み研究会 CCS 
会議コード 2018-06-NLP-CCS 
本文の言語 日本語 
タイトル(和) 再帰型相互情報量最大化によって最適化した再帰型ニューラルネットワークの情報処理能力 
サブタイトル(和)  
タイトル(英) Use of recurrent infomax to improve the information processing capability of input-driven recurrent neural networks 
サブタイトル(英)  
キーワード(1)(和/英) 再帰型リカレントニューラルネットワーク / recurrent neural network  
キーワード(2)(和/英) 再帰型相互情報量最大化 / recurrent infomax  
キーワード(3)(和/英) /  
キーワード(4)(和/英) /  
キーワード(5)(和/英) /  
キーワード(6)(和/英) /  
キーワード(7)(和/英) /  
キーワード(8)(和/英) /  
第1著者 氏名(和/英/ヨミ) 岩出 尚 / Hisashi Iwade / イワデ ヒサシ
第1著者 所属(和/英) 京都大学 (略称: 京大)
Kyoto University (略称: Kyoto Univ.)
第2著者 氏名(和/英/ヨミ) 中嶋 浩平 / Kohei Nakajima / ナカジマ コウヘイ
第2著者 所属(和/英) 東京大学/JST PRESTO (略称: 東大/JSTさきがけ)
University of Tokyo/JST PRESTO (略称: Univ. Tokyo/JST PRESTO)
第3著者 氏名(和/英/ヨミ) 田中 琢真 / Takuma Tanaka / タナカ タクマ
第3著者 所属(和/英) 滋賀大学 (略称: 滋賀大)
Shiga University (略称: Shiga Univ.)
第4著者 氏名(和/英/ヨミ) 青柳 富誌生 / Toshio Aoyagi / アオヤギ トシオ
第4著者 所属(和/英) 京都大学 (略称: 京大)
Kyoto University (略称: Kyoto Univ.)
第5著者 氏名(和/英/ヨミ) / /
第5著者 所属(和/英) (略称: )
(略称: )
第6著者 氏名(和/英/ヨミ) / /
第6著者 所属(和/英) (略称: )
(略称: )
第7著者 氏名(和/英/ヨミ) / /
第7著者 所属(和/英) (略称: )
(略称: )
第8著者 氏名(和/英/ヨミ) / /
第8著者 所属(和/英) (略称: )
(略称: )
第9著者 氏名(和/英/ヨミ) / /
第9著者 所属(和/英) (略称: )
(略称: )
第10著者 氏名(和/英/ヨミ) / /
第10著者 所属(和/英) (略称: )
(略称: )
第11著者 氏名(和/英/ヨミ) / /
第11著者 所属(和/英) (略称: )
(略称: )
第12著者 氏名(和/英/ヨミ) / /
第12著者 所属(和/英) (略称: )
(略称: )
第13著者 氏名(和/英/ヨミ) / /
第13著者 所属(和/英) (略称: )
(略称: )
第14著者 氏名(和/英/ヨミ) / /
第14著者 所属(和/英) (略称: )
(略称: )
第15著者 氏名(和/英/ヨミ) / /
第15著者 所属(和/英) (略称: )
(略称: )
第16著者 氏名(和/英/ヨミ) / /
第16著者 所属(和/英) (略称: )
(略称: )
第17著者 氏名(和/英/ヨミ) / /
第17著者 所属(和/英) (略称: )
(略称: )
第18著者 氏名(和/英/ヨミ) / /
第18著者 所属(和/英) (略称: )
(略称: )
第19著者 氏名(和/英/ヨミ) / /
第19著者 所属(和/英) (略称: )
(略称: )
第20著者 氏名(和/英/ヨミ) / /
第20著者 所属(和/英) (略称: )
(略称: )
講演者
発表日時 2018-06-10 10:45:00 
発表時間 25 
申込先研究会 CCS 
資料番号 IEICE-NLP2018-42,IEICE-CCS2018-15 
巻番号(vol) IEICE-118 
号番号(no) no.75(NLP), no.76(CCS) 
ページ範囲 pp.79-84 
ページ数 IEICE-6 
発行日 IEICE-NLP-2018-06-01,IEICE-CCS-2018-06-01 


[研究会発表申込システムのトップページに戻る]

[電子情報通信学会ホームページ]


IEICE / 電子情報通信学会