| 講演名 | 2018-03-08 CNN計算の省メモリ化のためのカーネル・クラスタリング手法の検討 松井 優樹(電通大), 三輪 忍(電通大), 進藤 智司(名工大), 津邑 公暁(名工大), 八巻 隼人(電通大), 本多 弘樹(電通大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 近年，機械学習の中でも畳み込みニューラル・ネットワーク(CNN) が高い認識精度を示すことから，大きな注目を集めている．CNN は深層ニューラル・ネットワークであり，規模が大きくパラメータ数も多いことが問題としてあげられる．そのため，個々のパラメータに着目したデータ圧縮手法など，ネットワーク規模を縮小する研究が行われている．しかしながら，CNN 特有の重み(カーネル) 構造の類似性に着目したデータ圧縮手法は報告されていない．そこで我々は，CNN 計算におけるカーネルの構造的意味を持つ最小の単位である2 次元カーネルの類似性に着目し，クラスタリングと近似を行うことによりCNN 計算の省メモリ化を行う手法を提案している．我々の過去の報告では，少ないカーネル数のCNN に対して少ないクラスタ数でクラスタリングを行った際の提案手法の有効性を示したが，本報告では，より大規模なCNN に対して様々なクラスタ数でクラスタリングを行った際の結果を示す．VGG-16 の全カーネルに対して本手法を適用した結果，最大で85.6%のカーネルデータを削減しても認識精度を80%以上に保つことができた．本提案手法はPruning や量子化と直交した技術であり，これらを併用することでさらなるデータ圧縮が可能である． |
| 抄録(英) | Convolutional Neural Network (CNN) is widely used in the field of image recognition due to the high recognition accuracy. CNN is a sort of deep and large-scale neural networks so that it has numbers of parameters to be used for the computation. There have been many studies of compressing the data of CNN such as reducing the numbers of parameters and bits of parameters. Meanwhile, a well-trained CNN has very regular structure (i.e., 2D kernels) available for data compression, but no study of exploiting this structure for data compression in CNN has been reported so far. We have proposed a technique that clusters 2D kernels trained and replaces them with representative 2D kernels for reducing the number of parameters in CNN. In this paper, we report the experimental results of clustering the overall 2D kernels within VGG-16 with various numbers of clusters. Our experimental results show that the proposed technique can reduce the number of kernels by 85.6% in exchange for a 9% reduction in the recognition accuracy. The proposed technique is orthogonal to the other approaches of compressing the data in CNN, such as pruning and quantization; hence, they can be used together to obtain further gains. |
| キーワード(和) | CNN / データ圧縮 / クラスタリング |
| キーワード(英) | CNN / data compression / clustering |
| 資料番号 | CPSY2017-140,DC2017-96 |
| 発行日 | 2018-02-28 (CPSY, DC) |
| 研究会情報 | |
| 研究会 | CPSY / DC / IPSJ-SLDM / IPSJ-EMB / IPSJ-ARC |
|---|---|
| 開催期間 | 2018/3/7(から2日開催) |
| 開催地（和） | 隠岐の島文化会館 |
| 開催地（英） | Okinoshima Bunka-Kaikan Bldg. |
| テーマ（和） | 組込み技術とネットワークに関するワークショップ ETNET2018 |
| テーマ（英） | ETNET2018 |
| 委員長氏名（和） | 中野 浩嗣(広島大) / 井上 美智子(奈良先端大) / 浜口 清治(島根大) / / 五島 正裕(NII) |
| 委員長氏名（英） | Koji Nakano(Hiroshima Univ.) / Michiko Inoue(NAIST) / Kiyoharu Hamaguchi(Shimane Univ.) / / Masahiro Goshima(NII) |
| 副委員長氏名（和） | 入江 英嗣(東大) / 三吉 貴史(富士通研) / 福本 聡(首都大東京) |
| 副委員長氏名（英） | Hidetsugu Irie(Univ. of Tokyo) / Takashi Miyoshi(Fujitsu) / Satoshi Fukumoto(Tokyo Metropolitan Univ.) |
| 幹事氏名（和） | 大川 猛(宇都宮大) / 高前田 伸也(北大) / 吉村 正義(京都産大) / 金子 晴彦(東工大) / 許 浩沿(パナソニックセミコンダクタソリューションズ) / 密山 幸男(高知工科大) / 柴田 誠也(NEC) / / 小野 貴継(九大) / 近藤 正章(東大) / 長谷川 揚平(東芝) / 塩谷 亮太(名大) |
| 幹事氏名（英） | Takeshi Ohkawa(Utsunomiya Univ.) / Shinya Takameda(Hokkaido Univ.) / Masayoshi Yoshimura(Kyoto Sangyo Univ.) / Haruhiko Kaneko(Tokyo Inst. of Tech.) / Ko Kyo(Panasonic) / Yukio Mitsuyama(Kochi Univ. of Tech.) / Seiya Shibata(NEC) / / Takatsugu Ono(Kyushu Univ.) / Masaaki Kondo(Univ. of Tokyo) / Yohei Hasegawa(Toshiba) / Ryota Shioya(Nagoya Univ.) |
| 幹事補佐氏名（和） | 伊藤 靖朗(広島大) / 津邑 公暁(名工大) / 新井 雅之(日大) |
| 幹事補佐氏名（英） | Yasuaki Ito(Hiroshima Univ.) / Tomoaki Tsumura(Nagoya Inst. of Tech.) / Masayuki Arai(Nihon Univ.) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Computer Systems / Technical Committee on Dependable Computing / Special Interest Group on System and LSI Design Methodology / Special Interest Group on Embedded Systems / Special Interest Group on System Architecture |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | CNN計算の省メモリ化のためのカーネル・クラスタリング手法の検討 |
| サブタイトル（和） | |
| タイトル（英） | A Study of Kernel Clustering for Reducing Memory Footprint of CNN |
| サブタイトル（和） | |
| キーワード(1)（和/英） | CNN / CNN |
| キーワード(2)（和/英） | データ圧縮 / data compression |
| キーワード(3)（和/英） | クラスタリング / clustering |
| 第 1 著者 氏名（和/英） | 松井 優樹 / Yuki Matsui |
| 第 1 著者 所属（和/英） | 電気通信大学(略称：電通大) The University of Electro-Communications(略称：UEC) |
| 第 2 著者 氏名（和/英） | 三輪 忍 / Shinobu Miwa |
| 第 2 著者 所属（和/英） | 電気通信大学(略称：電通大) The University of Electro-Communications(略称：UEC) |
| 第 3 著者 氏名（和/英） | 進藤 智司 / Satoshi Shindo |
| 第 3 著者 所属（和/英） | 名古屋工業大学(略称：名工大) Nagoya Institute of Technology(略称：NITech) |
| 第 4 著者 氏名（和/英） | 津邑 公暁 / Tomoaki Tsumura |
| 第 4 著者 所属（和/英） | 名古屋工業大学(略称：名工大) Nagoya Institute of Technology(略称：NITech) |
| 第 5 著者 氏名（和/英） | 八巻 隼人 / Hayato Yamaki |
| 第 5 著者 所属（和/英） | 電気通信大学(略称：電通大) The University of Electro-Communications(略称：UEC) |
| 第 6 著者 氏名（和/英） | 本多 弘樹 / Hiroki Honda |
| 第 6 著者 所属（和/英） | 電気通信大学(略称：電通大) The University of Electro-Communications(略称：UEC) |
| 発表年月日 | 2018-03-08 |
| 資料番号 | CPSY2017-140,DC2017-96 |
| 巻番号（vol） | vol.117 |
| 号番号（no） | CPSY-479,DC-480 |
| ページ範囲 | pp.185-190(CPSY), pp.185-190(DC), |
| ページ数 | 6 |
| 発行日 | 2018-02-28 (CPSY, DC) |