| 講演名 | 2017-07-27 畳み込みニューラルネットワークの全2値化に関する一検討 下田 将之(東工大), 藤井 智也(東工大), 米川 晴義(東工大), 佐藤 真平(東工大), 中原 啓貴(東工大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 画像識別等の組込み機器では, 学習済み畳み込みニューラルネットワーク (CNN:Convolutional Neural Network) の識別高速化と低消費電力化が求められている. CNN の演算の 90%以上は 2 次元畳み込みであり, 主に積 和 (MAC: Multiply-Accumulation) 演算である. 従って外部メモリとのデータ削減と積和演算回路の削減が必要であ る. 近年, CNN の重み, 入力及び活性化関数の出力を 2 値 (-1/+1) に制限した 2 値化 CNN が提案されている. しか し, 提案された手法では入力層への入力は依然整数値のままであった. そのため, 入力層と中間層とを結合する畳み 込み演算は, 整数精度で行われている. 本稿は入力層の入力値も同様に 2 値化を行い, 全ての畳み込み演算をビット 演算で行う全 2 値化 CNN を提案する. そして, 全 2 値化 CNN を既存の 2 値化 CNN や, 整数精度の CNN と比較を 行った. 提案する全 2 値化 CNN は, 2 次元畳み込みを行う際の整数精度の積和演算回路が不要なため, FF を 13.7%, LUT を 2.2%削減し, 1.2 倍高速化できた. |
| 抄録(英) | A pre-trained convolutional neural network (CNN) is a feed-forward computation perspective, which is widely used for the embedded systems, requires high power-and-area efficiency. This paper realizes a binarized CNN which treats only binary values (+1/-1) for the inputs, the weights and the activation value. In this case, the multiplier is replaced into an XNOR circuit instead of a dedicated DSP block. Both inputs and weights are more suitable for hardware implementation. However, first convolutional layer still calculates in integer precision, since input value is not binarized one. In this paper, we transform input value into maps of which each pixel is 1 bit precision. The proposed method enables a binarized CNN to use bitwise operation in all layers of convolution. We call this all binarized CNN. We conduct experiment on comparing all binarized CNN, floating-point CNN and binarized CNN. Since all binarized CNN do not need dedicated DSP block, area of all binarized CNN is smaller than that of conventional binarized CNN. |
| キーワード(和) | ニューラルネットワーク / 2値化畳み込みニューラルネットワーク |
| キーワード(英) | Neural Network / Convolutional Neural Network / Binary Convolutional Neural Network |
| 資料番号 | CPSY2017-28 |
| 発行日 | 2017-07-19 (CPSY) |
| 研究会情報 | |
| 研究会 | CPSY / DC / IPSJ-ARC |
|---|---|
| 開催期間 | 2017/7/26(から3日開催) |
| 開催地（和） | 秋田アトリオンビル（秋田） |
| 開催地（英） | Akita Atorion-Building (Akita) |
| テーマ（和） | 並列／分散／協調とディペンダブルコンピューティングおよび一般 |
| テーマ（英） | Parallel, Distributed and Cooperative Processing |
| 委員長氏名（和） | 中野 浩嗣(広島大) / 井上 美智子(奈良先端大) |
| 委員長氏名（英） | Koji Nakano(Hiroshima Univ.) / Michiko Inoue(NAIST) |
| 副委員長氏名（和） | 入江 英嗣(東大) / 三吉 貴史(富士通研) / 福本 聡(首都大東京) |
| 副委員長氏名（英） | Hidetsugu Irie(Univ. of Tokyo) / Takashi Miyoshi(Fujitsu) / Satoshi Fukumoto(Tokyo Metropolitan Univ.) |
| 幹事氏名（和） | 大川 猛(宇都宮大) / 高前田 伸也(北大) / 吉村 正義(京都産大) / 金子 晴彦(東工大) |
| 幹事氏名（英） | Takeshi Ohkawa(Utsunomiya Univ.) / Shinya Takameda(Hokkaido Univ.) / Masayoshi Yoshimura(Kyoto Sangyo Univ.) / Haruhiko Kaneko(Tokyo Inst. of Tech.) |
| 幹事補佐氏名（和） | 伊藤 靖朗(広島大) / 津邑 公暁(名工大) / 新井 雅之(日大) |
| 幹事補佐氏名（英） | Yasuaki Ito(Hiroshima Univ.) / Tomoaki Tsumura(Nagoya Inst. of Tech.) / Masayuki Arai(Nihon Univ.) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Computer Systems / Technical Committee on Dependable Computing / Special Interest Group on System Architecture |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 畳み込みニューラルネットワークの全2値化に関する一検討 |
| サブタイトル（和） | |
| タイトル（英） | Consideration of All Binarized Convolutional Neural Network |
| サブタイトル（和） | |
| キーワード(1)（和/英） | ニューラルネットワーク / Neural Network |
| キーワード(2)（和/英） | 2値化畳み込みニューラルネットワーク / Convolutional Neural Network |
| キーワード(3)（和/英） | / Binary Convolutional Neural Network |
| 第 1 著者 氏名（和/英） | 下田 将之 / Masayuki Shimoda |
| 第 1 著者 所属（和/英） | 東京工業大学(略称：東工大) Tokyo Institude of Technology(略称：Tokyo Inst. of Tech.) |
| 第 2 著者 氏名（和/英） | 藤井 智也 / Tomoya Fujii |
| 第 2 著者 所属（和/英） | 東京工業大学(略称：東工大) Tokyo Institude of Technology(略称：Tokyo Inst. of Tech.) |
| 第 3 著者 氏名（和/英） | 米川 晴義 / Haruyoshi Yonekawa |
| 第 3 著者 所属（和/英） | 東京工業大学(略称：東工大) Tokyo Institude of Technology(略称：Tokyo Inst. of Tech.) |
| 第 4 著者 氏名（和/英） | 佐藤 真平 / Shimpei Sato |
| 第 4 著者 所属（和/英） | 東京工業大学(略称：東工大) Tokyo Institude of Technology(略称：Tokyo Inst. of Tech.) |
| 第 5 著者 氏名（和/英） | 中原 啓貴 / Hiroki Nakahara |
| 第 5 著者 所属（和/英） | 東京工業大学(略称：東工大) Tokyo Institude of Technology(略称：Tokyo Inst. of Tech.) |
| 発表年月日 | 2017-07-27 |
| 資料番号 | CPSY2017-28 |
| 巻番号（vol） | vol.117 |
| 号番号（no） | CPSY-153 |
| ページ範囲 | pp.131-136(CPSY), |
| ページ数 | 6 |
| 発行日 | 2017-07-19 (CPSY) |