| 講演名 | 2020-01-22 アンサンブル学習を用いたスパースCNNのFPGA実装に関して 倉持 亮佑(東工大), 佐田 悠生(東工大), 下田 将之(東工大), 佐藤 真平(東工大), 中原 啓貴(東工大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 畳み込みニューラルネットワーク (CNN) は主に画像を対象としたタスクに広く用いられており，従来の 手法と比較して非常に高い精度か?得られている. しかし，CNN の演算には多くの積和演算か?必要て?あるため消費電力 か?高く，また，近年て?はより高い認識精度か?求められている. これらに対し，本研究て?は CNN にスハ?ース化を行う ことて?弱学習器を生成し，それらのアンサンフ?ルモテ?ルを構築する手法を提案する. アンサンフ?ルモテ?ルの認識精度 と推論速度にはトレート?オフの関係か?あり，スハ?ース率 (重みの値か? 0 の割合) を適切に調節することにより，認識精度を向上させると共に，CNN 実行を高速化した. また，本研究て?は様々な畳み込み演算を実現するための汎用畳み 込みコアを提案し，汎用畳み込みコアを多数用いてテ?ータフローハ?イフ?ラインアーキテクチャを実現することて?，スハ?ースな重みを持つ CNN のアンサンフ?ルモテ?ルを効率的に実行することを可能とした. Xilinx Kintex UltraScale+ FPGA上に汎用畳み込みコアを実装し，スハ?ース CNN のアンサンフ?ルモテ?ルを実行した際の認識精度と推論速度を測定した. テ?スクトッフ? GPU による実行と比へ?て 3.09 倍高速に動作し，4.20倍消費電力か?低く，電力効率か? 13.33倍高いという結果か?得られた. |
| 抄録(英) | A convolutional neural network (CNN) is one of the most successful neural networks and widely used for computer vision tasks. However, it requires a massive number of multiplication and accumulation (MAC) computa- tions with high-power consumption, and higher recognition accuracy is desired for modern tasks. In the paper, we apply a sparseness technique to generate a weak classifier to build an ensemble CNN. We control sparse (zero weight) ratio to make an excellent performance and better recognition accuracy. We propose a universal convolution core to realize variations of modern convolutional operations, and extend it to many cores with pipelining architecture to achieve high-throughput operation. By setting the sparsity ratio and the number of predictors appropriately, high-speed architectures are realized on the many universal convolution cores while the recognition accuracy is improved compared to the conventional single CNN realization. We implemented the prototype of many universal convolution cores on the Xilinx Kintex UltraScale+ FPGA, and compared with the desktop GPU realization, it is 3.09 times faster, 4.20 times lower power, and 13.33 times better as for the performance per power. |
| キーワード(和) | Deep Learning / CNN / FPGA / アンサンブル学習 |
| キーワード(英) | Deep Learning / CNN / FPGA / Ensemble Learning |
| 資料番号 | VLD2019-65,CPSY2019-63,RECONF2019-55 |
| 発行日 | 2020-01-15 (VLD, CPSY, RECONF) |
| 研究会情報 | |
| 研究会 | IPSJ-SLDM / RECONF / VLD / CPSY / IPSJ-ARC |
|---|---|
| 開催期間 | 2020/1/22(から3日開催) |
| 開催地（和） | 慶応義塾大学 日吉キャンパス 来往舎 |
| 開催地（英） | Raiosha, Hiyoshi Campus, Keio University |
| テーマ（和） | FPGA応用および一般 |
| テーマ（英） | FPGA Applications, etc. |
| 委員長氏名（和） | 田宮 豊(富士通研) / 柴田 裕一郎(長崎大) / 戸川 望(早大) / 入江 英嗣(東大) / 井上 弘士(九大) |
| 委員長氏名（英） | Yutaka Tamiya(Fujitsu Lab.) / Yuichiro Shibata(Nagasaki Univ.) / Nozomu Togawa(Waseda Univ.) / Hidetsugu Irie(Univ. of Tokyo) / Hiroshi Inoue(Kyushu Univ.) |
| 副委員長氏名（和） | / 佐野 健太郎(理研) / 山口 佳樹(筑波大) / 福田 大輔(富士通研) / 鯉渕 道紘(NII) / 中島 耕太(富士通研) |
| 副委員長氏名（英） | / Kentaro Sano(RIKEN) / Yoshiki Yamaguchi(Tsukuba Univ.) / Daisuke Fukuda(Fujitsu Labs.) / Michihiro Koibuchi(NII) / Kota Nakajima(Fujitsu Lab.) |
| 幹事氏名（和） | 土谷 亮(滋賀県大) / 岩崎 裕江(NTT) / 佐々木 通(三菱電機) / 谷川 一哉(広島市大) / 三好 健文(イーツリーズ・ジャパン) / 小平 行秀(会津大) / 桜井 祐市(日立) / 津邑 公暁(名工大) / 高前田 伸也(北大) / 近藤 正章(東大) / 塩谷 亮太(名大) / 田中 美帆(富士通研) / 長谷川 揚平(東芝メモリ) |
| 幹事氏名（英） | Akira Tsuchiya(Univ. Shiga Prefecture) / Hiroe Iwasaki(NTT) / Toru Sasaki(Mitsubishi Electric) / Kazuya Tanigawa(Hiroshima City Univ.) / Takefumi Miyoshi(e-trees.Japan) / Yukihide Kohira(Univ. of Aizu) / Yuichi Sakurai(Hitachi) / Tomoaki Tsumura(Nagoya Inst. of Tech.) / Shinya Takameda(Hokkaido Univ.) / Masaaki Kondo(Univ. of Tokyo) / Ryota Shioya(Nagoya Univ.) / Miho Tanaka(Fujitsu Labs.) / Yohei Hasegawa(Toshiba Memory) |
| 幹事補佐氏名（和） | / 小林 悠記(NEC) / 中原 啓貴(東工大) / 池田 一樹(日立) / 有間 英志(東大) / 小川 周吾(日立) |
| 幹事補佐氏名（英） | / Yuuki Kobayashi(NEC) / Hiroki Nakahara(Tokyo Inst. of Tech.) / Kazuki Ikeda(Hitachi) / Eiji Arima(Univ. of Tokyo) / Shugo Ogawa(Hitachi) |
| 講演論文情報詳細 | |
| 申込み研究会 | Special Interest Group on System and LSI Design Methodology / Technical Committee on Reconfigurable Systems / Technical Committee on VLSI Design Technologies / Technical Committee on Computer Systems / Special Interest Group on System Architecture |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | アンサンブル学習を用いたスパースCNNのFPGA実装に関して |
| サブタイトル（和） | |
| タイトル（英） | Many Universal Convolution Cores for Ensemble Sparse Convolutional Neural Networks |
| サブタイトル（和） | |
| キーワード(1)（和/英） | Deep Learning / Deep Learning |
| キーワード(2)（和/英） | CNN / CNN |
| キーワード(3)（和/英） | FPGA / FPGA |
| キーワード(4)（和/英） | アンサンブル学習 / Ensemble Learning |
| 第 1 著者 氏名（和/英） | 倉持 亮佑 / Ryosuke Kuramochi |
| 第 1 著者 所属（和/英） | 東京工業大学(略称：東工大) Tokyo Institute of Technology(略称：Titech) |
| 第 2 著者 氏名（和/英） | 佐田 悠生 / Youki Sada |
| 第 2 著者 所属（和/英） | 東京工業大学(略称：東工大) Tokyo Institute of Technology(略称：Titech) |
| 第 3 著者 氏名（和/英） | 下田 将之 / Masayuki Shimoda |
| 第 3 著者 所属（和/英） | 東京工業大学(略称：東工大) Tokyo Institute of Technology(略称：Titech) |
| 第 4 著者 氏名（和/英） | 佐藤 真平 / Shimpei Sato |
| 第 4 著者 所属（和/英） | 東京工業大学(略称：東工大) Tokyo Institute of Technology(略称：Titech) |
| 第 5 著者 氏名（和/英） | 中原 啓貴 / Hiroki Nakahara |
| 第 5 著者 所属（和/英） | 東京工業大学(略称：東工大) Tokyo Institute of Technology(略称：Titech) |
| 発表年月日 | 2020-01-22 |
| 資料番号 | VLD2019-65,CPSY2019-63,RECONF2019-55 |
| 巻番号（vol） | vol.119 |
| 号番号（no） | VLD-371,CPSY-372,RECONF-373 |
| ページ範囲 | pp.67-72(VLD), pp.67-72(CPSY), pp.67-72(RECONF), |
| ページ数 | 6 |
| 発行日 | 2020-01-15 (VLD, CPSY, RECONF) |