電子情報通信学会 研究会発表申込システム
講演論文 詳細
技報閲覧サービス
技報オンライン
‥‥ (ESS/通ソ/エレソ/ISS)
技報アーカイブ
‥‥ (エレソ/通ソ)
 トップに戻る 前のページに戻る   [Japanese] / [English] 

講演抄録/キーワード
講演名 2018-03-08 14:20
CNN計算の省メモリ化のためのカーネル・クラスタリング手法の検討
松井優樹三輪 忍電通大)・進藤智司津邑公暁名工大)・八巻隼人本多弘樹電通大
技報オンラインサービス実施中
抄録 (和) 近年,機械学習の中でも畳み込みニューラル・ネットワーク(CNN) が高い認識精度を示すことから,大きな注目を集めている.CNN は深層ニューラル・ネットワークであり,規模が大きくパラメータ数も多いことが問題としてあげられる.そのため,個々のパラメータに着目したデータ圧縮手法など,ネットワーク規模を縮小する研究が行われている.しかしながら,CNN 特有の重み(カーネル) 構造の類似性に着目したデータ圧縮手法は報告されていない.そこで我々は,CNN 計算におけるカーネルの構造的意味を持つ最小の単位である2 次元カーネルの類似性に着目し,クラスタリングと近似を行うことによりCNN 計算の省メモリ化を行う手法を提案している.我々の過去の報告では,少ないカーネル数のCNN に対して少ないクラスタ数でクラスタリングを行った際の提案手法の有効性を示したが,本報告では,より大規模なCNN に対して様々なクラスタ数でクラスタリングを行った際の結果を示す.VGG-16 の全カーネルに対して本手法を適用した結果,最大で85.6%のカーネルデータを削減しても認識精度を80%以上に保つことができた.本提案手法はPruning や量子化と直交した技術であり,これらを併用することでさらなるデータ圧縮が可能である. 
(英) Convolutional Neural Network (CNN) is widely used in the field of image recognition due to the high recognition accuracy. CNN is a sort of deep and large-scale neural networks so that it has numbers of parameters to be used for the computation. There have been many studies of compressing the data of CNN such as reducing the numbers of parameters and bits of parameters. Meanwhile, a well-trained CNN has very regular structure (i.e., 2D kernels) available for data compression, but no study of exploiting this structure for data compression in CNN has been reported so far. We have proposed a technique that clusters 2D kernels trained and replaces them with representative 2D kernels for reducing the number of parameters in CNN. In this paper, we report the experimental results of clustering the overall 2D kernels within VGG-16 with various numbers of clusters. Our experimental results show that the proposed technique can reduce the number of kernels by 85.6% in exchange for a 9% reduction in the recognition accuracy. The proposed technique is orthogonal to the other approaches of compressing the data in CNN, such as pruning and quantization; hence, they can be used together to obtain further gains.
キーワード (和) CNN / データ圧縮 / クラスタリング / / / / /  
(英) CNN / data compression / clustering / / / / /  
文献情報 信学技報, vol. 117, no. 479, CPSY2017-140, pp. 185-190, 2018年3月.
資料番号 CPSY2017-140 
発行日 2018-02-28 (CPSY, DC) 
ISSN Print edition: ISSN 0913-5685  Online edition: ISSN 2432-6380

研究会情報
研究会 CPSY DC IPSJ-SLDM IPSJ-EMB IPSJ-ARC  
開催期間 2018-03-07 - 2018-03-08 
開催地(和) 隠岐の島文化会館 
開催地(英) Okinoshima Bunka-Kaikan Bldg. 
テーマ(和) 組込み技術とネットワークに関するワークショップ ETNET2018 
テーマ(英) ETNET2018 
講演論文情報の詳細
申込み研究会 CPSY 
会議コード 2018-03-CPSY-DC-SLDM-EMB-ARC 
本文の言語 日本語 
タイトル(和) CNN計算の省メモリ化のためのカーネル・クラスタリング手法の検討 
サブタイトル(和)  
タイトル(英) A Study of Kernel Clustering for Reducing Memory Footprint of CNN 
サブタイトル(英)  
キーワード(1)(和/英) CNN / CNN  
キーワード(2)(和/英) データ圧縮 / data compression  
キーワード(3)(和/英) クラスタリング / clustering  
キーワード(4)(和/英) /  
キーワード(5)(和/英) /  
キーワード(6)(和/英) /  
キーワード(7)(和/英) /  
キーワード(8)(和/英) /  
第1著者 氏名(和/英/ヨミ) 松井 優樹 / Yuki Matsui / マツイ ユウキ
第1著者 所属(和/英) 電気通信大学 (略称: 電通大)
The University of Electro-Communications (略称: UEC)
第2著者 氏名(和/英/ヨミ) 三輪 忍 / Shinobu Miwa / ミワ シノブ
第2著者 所属(和/英) 電気通信大学 (略称: 電通大)
The University of Electro-Communications (略称: UEC)
第3著者 氏名(和/英/ヨミ) 進藤 智司 / Satoshi Shindo / サトシ シンドウ
第3著者 所属(和/英) 名古屋工業大学 (略称: 名工大)
Nagoya Institute of Technology (略称: NITech)
第4著者 氏名(和/英/ヨミ) 津邑 公暁 / Tomoaki Tsumura / ツムラ トモアキ
第4著者 所属(和/英) 名古屋工業大学 (略称: 名工大)
Nagoya Institute of Technology (略称: NITech)
第5著者 氏名(和/英/ヨミ) 八巻 隼人 / Hayato Yamaki / ヤマキ ハヤト
第5著者 所属(和/英) 電気通信大学 (略称: 電通大)
The University of Electro-Communications (略称: UEC)
第6著者 氏名(和/英/ヨミ) 本多 弘樹 / Hiroki Honda / ホンダ ヒロキ
第6著者 所属(和/英) 電気通信大学 (略称: 電通大)
The University of Electro-Communications (略称: UEC)
第7著者 氏名(和/英/ヨミ) / /
第7著者 所属(和/英) (略称: )
(略称: )
第8著者 氏名(和/英/ヨミ) / /
第8著者 所属(和/英) (略称: )
(略称: )
第9著者 氏名(和/英/ヨミ) / /
第9著者 所属(和/英) (略称: )
(略称: )
第10著者 氏名(和/英/ヨミ) / /
第10著者 所属(和/英) (略称: )
(略称: )
第11著者 氏名(和/英/ヨミ) / /
第11著者 所属(和/英) (略称: )
(略称: )
第12著者 氏名(和/英/ヨミ) / /
第12著者 所属(和/英) (略称: )
(略称: )
第13著者 氏名(和/英/ヨミ) / /
第13著者 所属(和/英) (略称: )
(略称: )
第14著者 氏名(和/英/ヨミ) / /
第14著者 所属(和/英) (略称: )
(略称: )
第15著者 氏名(和/英/ヨミ) / /
第15著者 所属(和/英) (略称: )
(略称: )
第16著者 氏名(和/英/ヨミ) / /
第16著者 所属(和/英) (略称: )
(略称: )
第17著者 氏名(和/英/ヨミ) / /
第17著者 所属(和/英) (略称: )
(略称: )
第18著者 氏名(和/英/ヨミ) / /
第18著者 所属(和/英) (略称: )
(略称: )
第19著者 氏名(和/英/ヨミ) / /
第19著者 所属(和/英) (略称: )
(略称: )
第20著者 氏名(和/英/ヨミ) / /
第20著者 所属(和/英) (略称: )
(略称: )
講演者
発表日時 2018-03-08 14:20:00 
発表時間 25 
申込先研究会 CPSY 
資料番号 IEICE-CPSY2017-140,IEICE-DC2017-96 
巻番号(vol) IEICE-117 
号番号(no) no.479(CPSY), no.480(DC) 
ページ範囲 pp.185-190 
ページ数 IEICE-6 
発行日 IEICE-CPSY-2018-02-28,IEICE-DC-2018-02-28 


[研究会発表申込システムのトップページに戻る]

[電子情報通信学会ホームページ]


IEICE / 電子情報通信学会