お知らせ 研究会の開催と会場に参加される皆様へのお願い(2020年10月開催~)
電子情報通信学会 研究会発表申込システム
講演論文 詳細
技報閲覧サービス
[ログイン]
技報アーカイブ
 トップに戻る 前のページに戻る   [Japanese] / [English] 

講演抄録/キーワード
講演名 2021-03-03 13:00
畳み込みニューラルネットワークにおけるハイブリッドスパース化
野口尚馬山内ゆかり日大NC2020-46
抄録 (和) 畳み込みニューラルネットワーク(CNN)は画像分類や物体検出などの分野で高精度を実現している。しかし、大規模なCNNモデルは冗長なパラメータを多く含んでおり、それが汎化性能の低下や過学習などの原因となっている。この問題を解決する手法の一つに、CNNの学習時に重みをスパース化して冗長なパラメータを削減する方法がある。AlvarezらやScardapaneらは、グループ単位のL2正則化と要素ごとのL1正則化を合わせたスパースグループLASSOを様々なアーキテクチャに適用し、同等かそれ以上の精度の圧縮ネットワークを得ている。またKevinらは、L0正則化が機械学習のいくつかの分野でL1正則化より優れたスパース解を実現していることに着目し、スパースグループLASSOのL1正則化項をL0正則化項に置き換えたスパースグループLASSO L0を提案した。本研究では、スパースグループLASSOとスパースグループLASSO L0を合わせたハイブリッドスパース化手法を提案し、CNNの精度を維持しつつ従来手法よりも高いスパース度の実現を試みる。 
(英) Convolutional neural networks (CNNs) have achieved high accuracy in areas such as image classification and object detection. However, large-scale CNN models contain a lot of redundant parameters, which leads to poor generalization performance and overtraining. Alvarez et al. and Scardapane et al. applied sparse group LASSO, which is a combination of group-wise L2 regularization and element-wise L1 regularization, to various architectures. They obtained compressed networks with the same or better accuracy. Kevin et al. proposed sparse-group LASSO L0, in which the L1 regularization term of sparse-group LASSO is replaced by an L0 regularization term. In this study, we propose a hybrid sparsification method that combines sparse-group LASSO and sparse-group LASSO L0, and try to achieve higher sparsity than the conventional method while maintaining the accuracy of CNN.
キーワード (和) 畳み込みニューラルネットワーク / スパースモデリング / スパースグループLASSO / / / / /  
(英) Convolutional Neural Network / Sparse Modeling / Sparse Group LASSO / / / / /  
文献情報 信学技報, vol. 120, no. 403, NC2020-46, pp. 21-24, 2021年3月.
資料番号 NC2020-46 
発行日 2021-02-24 (NC) 
ISSN Print edition: ISSN 0913-5685  Online edition: ISSN 2432-6380
著作権に
ついて
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034)
PDFダウンロード NC2020-46

研究会情報
研究会 NC MBE  
開催期間 2021-03-03 - 2021-03-05 
開催地(和) オンライン開催 
開催地(英) Online 
テーマ(和) NC, ME, 一般 
テーマ(英) Neuro Computing, Medical Engineering, etc. 
講演論文情報の詳細
申込み研究会 NC 
会議コード 2021-03-NC-MBE 
本文の言語 日本語 
タイトル(和) 畳み込みニューラルネットワークにおけるハイブリッドスパース化 
サブタイトル(和)  
タイトル(英) Hybrid Sparsity in Convolutional Neural Networks 
サブタイトル(英)  
キーワード(1)(和/英) 畳み込みニューラルネットワーク / Convolutional Neural Network  
キーワード(2)(和/英) スパースモデリング / Sparse Modeling  
キーワード(3)(和/英) スパースグループLASSO / Sparse Group LASSO  
キーワード(4)(和/英) /  
キーワード(5)(和/英) /  
キーワード(6)(和/英) /  
キーワード(7)(和/英) /  
キーワード(8)(和/英) /  
第1著者 氏名(和/英/ヨミ) 野口 尚馬 / Shoma Noguchi / ノグチ ショウマ
第1著者 所属(和/英) 日本大学 (略称: 日大)
Nihon University (略称: Nihon Univ.)
第2著者 氏名(和/英/ヨミ) 山内 ゆかり / Yukari Yamauchi / ヤマウチ ユカリ
第2著者 所属(和/英) 日本大学 (略称: 日大)
Nihon University (略称: Nihon Univ.)
第3著者 氏名(和/英/ヨミ) / /
第3著者 所属(和/英) (略称: )
(略称: )
第4著者 氏名(和/英/ヨミ) / /
第4著者 所属(和/英) (略称: )
(略称: )
第5著者 氏名(和/英/ヨミ) / /
第5著者 所属(和/英) (略称: )
(略称: )
第6著者 氏名(和/英/ヨミ) / /
第6著者 所属(和/英) (略称: )
(略称: )
第7著者 氏名(和/英/ヨミ) / /
第7著者 所属(和/英) (略称: )
(略称: )
第8著者 氏名(和/英/ヨミ) / /
第8著者 所属(和/英) (略称: )
(略称: )
第9著者 氏名(和/英/ヨミ) / /
第9著者 所属(和/英) (略称: )
(略称: )
第10著者 氏名(和/英/ヨミ) / /
第10著者 所属(和/英) (略称: )
(略称: )
第11著者 氏名(和/英/ヨミ) / /
第11著者 所属(和/英) (略称: )
(略称: )
第12著者 氏名(和/英/ヨミ) / /
第12著者 所属(和/英) (略称: )
(略称: )
第13著者 氏名(和/英/ヨミ) / /
第13著者 所属(和/英) (略称: )
(略称: )
第14著者 氏名(和/英/ヨミ) / /
第14著者 所属(和/英) (略称: )
(略称: )
第15著者 氏名(和/英/ヨミ) / /
第15著者 所属(和/英) (略称: )
(略称: )
第16著者 氏名(和/英/ヨミ) / /
第16著者 所属(和/英) (略称: )
(略称: )
第17著者 氏名(和/英/ヨミ) / /
第17著者 所属(和/英) (略称: )
(略称: )
第18著者 氏名(和/英/ヨミ) / /
第18著者 所属(和/英) (略称: )
(略称: )
第19著者 氏名(和/英/ヨミ) / /
第19著者 所属(和/英) (略称: )
(略称: )
第20著者 氏名(和/英/ヨミ) / /
第20著者 所属(和/英) (略称: )
(略称: )
講演者
発表日時 2021-03-03 13:00:00 
発表時間 25 
申込先研究会 NC 
資料番号 IEICE-NC2020-46 
巻番号(vol) IEICE-120 
号番号(no) no.403 
ページ範囲 pp.21-24 
ページ数 IEICE-4 
発行日 IEICE-NC-2021-02-24 


[研究会発表申込システムのトップページに戻る]

[電子情報通信学会ホームページ]


IEICE / 電子情報通信学会