| 講演名 | 2017-09-25 2値化畳込みニューラルネットワークのニューロン刈りによるメモリ量削減とFPGA実現について 藤井 智也(東工大), 佐藤 真平(東工大), 中原 啓貴(東工大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 画像識別等の組込み機器では学習済み深層畳み込みニューラルネットワーク(CNN: deep Convolutional Neural Network) の識別高速化と低消費電力化が求められている．一般的なCNN は前半部が畳込み層, 後半部がフル結合層で構成されている．先行研究より, 畳込み層では積和演算部がボトルネックであり，フル結合層ではメモリアクセスがボトルネックである．畳み込み層の積和演算を高速にFPGA上で行うため，2値化CNNが提案されているが，これを適用してもフル結合層では依然としてメモリアクセスがボトルネックとなっている．本論文では，ニューロンを刈ることで，重みを格納したメモリを削減し，フル結合層のメモリアクセスを高速化する．これにより，FPGAのオンチップメモリ上にフル結合層の重みを全て格納でき，メモリアクセス問題を解決できる．また，本論文ではFPGAのオンチップメモリと組み合わせた高速なフル結合層回路を提案する．提案する閾値ニューロン刈りにより，元の2値化CNNの認識精度に対して99%の認識精度を維持しつつ，ニューロン数を60.2%，メモリ量を83%削減できた． |
| 抄録(英) | For a pre-trained deep convolutional neural network (CNN) for an embedded system, a high-speed and a low power consumption are required. In the former of the CNN, it consists of convolutional layers, whilein the latter, it consists of fully connection layers. In the convolutionallayer, the multiply accumulation operation is a bottleneck, while the fullyconnection layer, the memory access is a bottleneck. The binarized CNNhas been proposed to realize many multiply accumulation circuit on theFPGA, thus, the convolutional layer can be done with high-seed operation. However, even if we apply the binarization to the fully connection layer, theamount of memory was still bottleneck. In this paper, we propose a neuron pruning technique which eliminates almost part of the weight memory, and apply it to the fully connection layer on the binarized CNN. In that case, since the weight memory is realized by an on-chip memory on the FPGA, it achieves a high speed memory access. To further reduce the memory size, we apply the retraining the CNN after neuron pruning. In this paper, we propose a sequential-input parallel-output fully connection layer circuit for the binarized fully connection layer, while propose a streaming circuit for the binarized 2D convolutional layer. The experimental results showed that, by the neuron pruning, as for the fully connected layer on the VGG-11 CNN, the number of neurons was reduced by 60.2%, and the amount of memory was reduced by 83% with keeping the 99% baseline recognition accuracy. |
| キーワード(和) | CNN / FPGA / メモリ削減 / 枝刈り |
| キーワード(英) | CNN / FPGA / Memory Reduction / Pruning |
| 資料番号 | RECONF2017-26 |
| 発行日 | 2017-09-18 (RECONF) |
| 研究会情報 | |
| 研究会 | RECONF |
|---|---|
| 開催期間 | 2017/9/25(から2日開催) |
| 開催地（和） | (株)ドワンゴ |
| 開催地（英） | DWANGO Co., Ltd. |
| テーマ（和） | リコンフィギャラブルシステム、一般 |
| テーマ（英） | Reconfigurable Systems, etc. |
| 委員長氏名（和） | 本村 真人(北大) |
| 委員長氏名（英） | Masato Motomura(Hokkaido Univ.) |
| 副委員長氏名（和） | 柴田 裕一郎(長崎大) / 佐野 健太郎(東北大) |
| 副委員長氏名（英） | Yuichiro Shibata(Nagasaki Univ.) / Kentaro Sano(Tohoku Univ.) |
| 幹事氏名（和） | 谷川 一哉(広島市大) / 三好 健文(イーツリーズ・ジャパン) |
| 幹事氏名（英） | Kazuya Tanigawa(Hiroshima City Univ.) / Takefumi Miyoshi(e-trees.Japan) |
| 幹事補佐氏名（和） | 小林 悠記(NEC) / 中原 啓貴(東工大) |
| 幹事補佐氏名（英） | Yuuki Kobayashi(NEC) / Hiroki Nakahara(Tokyo Inst. of Tech.) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Reconfigurable Systems |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 2値化畳込みニューラルネットワークのニューロン刈りによるメモリ量削減とFPGA実現について |
| サブタイトル（和） | |
| タイトル（英） | A Memory Reduction with Neuron Pruning for a Binarized Deep Convolutional Neural Network: Its FPGA Realization |
| サブタイトル（和） | |
| キーワード(1)（和/英） | CNN / CNN |
| キーワード(2)（和/英） | FPGA / FPGA |
| キーワード(3)（和/英） | メモリ削減 / Memory Reduction |
| キーワード(4)（和/英） | 枝刈り / Pruning |
| 第 1 著者 氏名（和/英） | 藤井 智也 / Tomoya Fujii |
| 第 1 著者 所属（和/英） | 東京工業大学(略称：東工大) Tokyo Institute of Technology(略称：Tokyo Inst. of Tech.) |
| 第 2 著者 氏名（和/英） | 佐藤 真平 / Shimpei Sato |
| 第 2 著者 所属（和/英） | 東京工業大学(略称：東工大) Tokyo Institute of Technology(略称：Tokyo Inst. of Tech.) |
| 第 3 著者 氏名（和/英） | 中原 啓貴 / Hiroki Nakahara |
| 第 3 著者 所属（和/英） | 東京工業大学(略称：東工大) Tokyo Institute of Technology(略称：Tokyo Inst. of Tech.) |
| 発表年月日 | 2017-09-25 |
| 資料番号 | RECONF2017-26 |
| 巻番号（vol） | vol.117 |
| 号番号（no） | RECONF-221 |
| ページ範囲 | pp.25-30(RECONF), |
| ページ数 | 6 |
| 発行日 | 2017-09-18 (RECONF) |