お知らせ 研究会の開催と会場に参加される皆様へのお願い(2020年10月開催~)
電子情報通信学会 研究会発表申込システム
講演論文 詳細
技報閲覧サービス
[ログイン]
技報アーカイブ
 トップに戻る 前のページに戻る   [Japanese] / [English] 

講演抄録/キーワード
講演名 2021-03-05 13:25
Relay BPにおけるアンサンブル学習の適用
外山慶祐山内ゆかり日大NC2020-70
抄録 (和) 畳み込みニューラルネットワーク(Convolutional Neural Network: CNN)は,画像や音声等といった高次元データを入力としているのにも関わらず,高精度の出力を出すことができるネットワークモデルの1つである.一般的にCNNは,層を深くすれば深くするほど識別精度が向上するが,単に層を深くしただけでは識別精度の向上は得られないことが報告されている.これはネットワークモデルの学習時に,勾配情報が上位層から下位層に向けて層を遡れば遡るほど,情報が劣化していくからである.そこでLi Shenらは,有益な勾配情報の伝搬を促す新しい学習法としてRelay BPを提案した.Relay BPを適用させたCNNモデルは,ネットワークモデルの途中に中間出力モジュールが導入されていることが特徴である.最上位層から流れる勾配情報は途中で打ち切りにし,下位層には中間出力モジュールから流れる勾配情報によってネットワークモデルが学習される.また推定時では,CNNモデル全体としての出力結果を決定する際,最上位層の出力値のみを参照している.そこで本研究では,アンサンブル学習の考え方をRelay BPに取り入れ,最上位層の出力値のみを参照するのではなく,中間出力モジュールから出力される出力値も参照することで,さらなる識別精度の向上を図る.実験では,RGB画像データセットであるCIFAR-10を用いて識別率と処理時間の観点で結果を比較し,提案手法の有効性を確かめる. 
(英) Convolutional Neural Network (CNN) is one of the network models that can produce highly accurate output even though it uses high dimensional data such as images and audio as input. It has been reported that, in general, the deeper the layers of a CNN, the better the identification accuracy, but simply increasing the depth of the layers does not improve the identification accuracy. This is because, when training a network model, the gradient information degrades as one moves back through the layers from the upper layers to the lower layers. Therefore, Li Shen et al. proposed Relay BP as a new learning method to promote the propagation of useful gradient information. The CNN with Relay BP applied is characterized by the introduction of an intermediate output module in the middle of the network model. The gradient information flowing from the top layer is censored in the middle, and the network model is trained in the lower layers by the gradient information flowing from the intermediate output modules. On the other hand, during estimation, only the output value of the top layer is referred to when determining the output result of the CNN as a whole. Therefore, in this research, the concept of ensemble learning is incorporated into Relay BP to further improve the discrimination accuracy by referring not only to the output values of the top layer, but also to the output values from the intermediate output modules. In the experiment, we compare the results in terms of identification rate and processing time using CIFAR-10, an RGB image dataset, to confirm the effectiveness of the proposed method.
キーワード (和) Relay BP / 畳み込みニューラルネットワーク / 誤差逆伝播法 / / / / /  
(英) Relay BP / Convolutional Neural Network / Back Propagation / / / / /  
文献情報 信学技報, vol. 120, no. 403, NC2020-70, pp. 157-162, 2021年3月.
資料番号 NC2020-70 
発行日 2021-02-24 (NC) 
ISSN Print edition: ISSN 0913-5685  Online edition: ISSN 2432-6380
著作権に
ついて
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034)
PDFダウンロード NC2020-70

研究会情報
研究会 NC MBE  
開催期間 2021-03-03 - 2021-03-05 
開催地(和) オンライン開催 
開催地(英) Online 
テーマ(和) NC, ME, 一般 
テーマ(英) Neuro Computing, Medical Engineering, etc. 
講演論文情報の詳細
申込み研究会 NC 
会議コード 2021-03-NC-MBE 
本文の言語 日本語 
タイトル(和) Relay BPにおけるアンサンブル学習の適用 
サブタイトル(和)  
タイトル(英) Applying Ensemble Learning in Relay BP 
サブタイトル(英)  
キーワード(1)(和/英) Relay BP / Relay BP  
キーワード(2)(和/英) 畳み込みニューラルネットワーク / Convolutional Neural Network  
キーワード(3)(和/英) 誤差逆伝播法 / Back Propagation  
キーワード(4)(和/英) /  
キーワード(5)(和/英) /  
キーワード(6)(和/英) /  
キーワード(7)(和/英) /  
キーワード(8)(和/英) /  
第1著者 氏名(和/英/ヨミ) 外山 慶祐 / Keisuke Toyama / トヤマ ケイスケ
第1著者 所属(和/英) 日本大学 (略称: 日大)
Nihon University (略称: Nihon Univ.)
第2著者 氏名(和/英/ヨミ) 山内 ゆかり / Yukari Yamauchi / ヤマウチ ユカリ
第2著者 所属(和/英) 日本大学 (略称: 日大)
Nihon University (略称: Nihon Univ.)
第3著者 氏名(和/英/ヨミ) / /
第3著者 所属(和/英) (略称: )
(略称: )
第4著者 氏名(和/英/ヨミ) / /
第4著者 所属(和/英) (略称: )
(略称: )
第5著者 氏名(和/英/ヨミ) / /
第5著者 所属(和/英) (略称: )
(略称: )
第6著者 氏名(和/英/ヨミ) / /
第6著者 所属(和/英) (略称: )
(略称: )
第7著者 氏名(和/英/ヨミ) / /
第7著者 所属(和/英) (略称: )
(略称: )
第8著者 氏名(和/英/ヨミ) / /
第8著者 所属(和/英) (略称: )
(略称: )
第9著者 氏名(和/英/ヨミ) / /
第9著者 所属(和/英) (略称: )
(略称: )
第10著者 氏名(和/英/ヨミ) / /
第10著者 所属(和/英) (略称: )
(略称: )
第11著者 氏名(和/英/ヨミ) / /
第11著者 所属(和/英) (略称: )
(略称: )
第12著者 氏名(和/英/ヨミ) / /
第12著者 所属(和/英) (略称: )
(略称: )
第13著者 氏名(和/英/ヨミ) / /
第13著者 所属(和/英) (略称: )
(略称: )
第14著者 氏名(和/英/ヨミ) / /
第14著者 所属(和/英) (略称: )
(略称: )
第15著者 氏名(和/英/ヨミ) / /
第15著者 所属(和/英) (略称: )
(略称: )
第16著者 氏名(和/英/ヨミ) / /
第16著者 所属(和/英) (略称: )
(略称: )
第17著者 氏名(和/英/ヨミ) / /
第17著者 所属(和/英) (略称: )
(略称: )
第18著者 氏名(和/英/ヨミ) / /
第18著者 所属(和/英) (略称: )
(略称: )
第19著者 氏名(和/英/ヨミ) / /
第19著者 所属(和/英) (略称: )
(略称: )
第20著者 氏名(和/英/ヨミ) / /
第20著者 所属(和/英) (略称: )
(略称: )
講演者
発表日時 2021-03-05 13:25:00 
発表時間 25 
申込先研究会 NC 
資料番号 IEICE-NC2020-70 
巻番号(vol) IEICE-120 
号番号(no) no.403 
ページ範囲 pp.157-162 
ページ数 IEICE-6 
発行日 IEICE-NC-2021-02-24 


[研究会発表申込システムのトップページに戻る]

[電子情報通信学会ホームページ]


IEICE / 電子情報通信学会