| 講演名 | 2019-05-10 無効ニューロン予測によるDNN計算効率化手法 植吉 晃大(北大), 池田 泰我(北大), 安藤 洸太(北大), 廣瀬 一俊(北大), 浅井 哲也(北大), 高前田 伸也(北大), 本村 真人(東工大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | ニューラルネットワーク (NN: Neural Network) の発展に伴い，多様なデバイス上で高性能かつ低電力な NN 計算をすることが求められている．中でも，組み込みデバイスのような限られた物理制約の中で，十分な性能を実現するためには，大規模な NN の計算量を削減する必要がある．近年，多くの NN は，ニューロンがゼロを出 力する，スパースな演算となっている．本稿では，このゼロを出力するニューロン（無効ニューロン）を予測することで，計算量を削減する手法を提案する．これまでにも，計算途中において，無効ニューロンの計算を打ち切るという 手法が提案されてきた．しかし，これでは無効ニューロンの計算自体を消すことはできない．また，ニューロン内の計算を途中で打ち切るため，並列化が難しい．そこで我々は，無効ニューロンを予測するための専用 NN を学習済みのNN とは別に設け，独立に予測を行う手法を提案する．この予測専用 NN は，二値化された NN で構成されるため， 小さなオーバーヘッドで予測を可能とする．この NN を実装・評価し，元のネットワークの不必要な計算を，入力に 応じて動的に予測し，計算量を削減できることを示した. |
| 抄録(英) | |
| キーワード(和) | 深層学習 / 畳み込みニューラルネットワーク / 二値化ニューラルネットワーク / ニューロン活性予測 |
| キーワード(英) | |
| 資料番号 | RECONF2019-18 |
| 発行日 | 2019-05-02 (RECONF) |
| 研究会情報 | |
| 研究会 | RECONF |
|---|---|
| 開催期間 | 2019/5/9(から2日開催) |
| 開催地（和） | 東工大蔵前会館 |
| 開催地（英） | Tokyo Tech Front |
| テーマ（和） | リコンフィギャラブルシステム，一般 |
| テーマ（英） | Reconfigurable system, etc. |
| 委員長氏名（和） | 本村 真人(東工大) |
| 委員長氏名（英） | Masato Motomura(Tokyo Tech.) |
| 副委員長氏名（和） | 柴田 裕一郎(長崎大) / 佐野 健太郎(理研) |
| 副委員長氏名（英） | Yuichiro Shibata(Nagasaki Univ.) / Kentaro Sano(RIKEN) |
| 幹事氏名（和） | 谷川 一哉(広島市大) / 三好 健文(イーツリーズ・ジャパン) |
| 幹事氏名（英） | Kazuya Tanigawa(Hiroshima City Univ.) / Takefumi Miyoshi(e-trees.Japan) |
| 幹事補佐氏名（和） | 小林 悠記(NEC) / 中原 啓貴(東工大) |
| 幹事補佐氏名（英） | Yuuki Kobayashi(NEC) / Hiroki Nakahara(Tokyo Inst. of Tech.) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Reconfigurable Systems |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 無効ニューロン予測によるDNN計算効率化手法 |
| サブタイトル（和） | |
| タイトル（英） | hoge |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 深層学習 |
| キーワード(2)（和/英） | 畳み込みニューラルネットワーク |
| キーワード(3)（和/英） | 二値化ニューラルネットワーク |
| キーワード(4)（和/英） | ニューロン活性予測 |
| 第 1 著者 氏名（和/英） | 植吉 晃大 / Kodai Ueyoshi |
| 第 1 著者 所属（和/英） | 北海道大学(略称：北大) Hokkaido University(略称：Hokkaido Univ.) |
| 第 2 著者 氏名（和/英） | 池田 泰我 / Taiga Ikeda |
| 第 2 著者 所属（和/英） | 北海道大学(略称：北大) Hokkaido University(略称：Hokkaido Univ.) |
| 第 3 著者 氏名（和/英） | 安藤 洸太 / Kota Ando |
| 第 3 著者 所属（和/英） | 北海道大学(略称：北大) Hokkaido University(略称：Hokkaido Univ.) |
| 第 4 著者 氏名（和/英） | 廣瀬 一俊 / Kazutoshi Hirose |
| 第 4 著者 所属（和/英） | 北海道大学(略称：北大) Hokkaido University(略称：Hokkaido Univ.) |
| 第 5 著者 氏名（和/英） | 浅井 哲也 / Tetsuya Asai |
| 第 5 著者 所属（和/英） | 北海道大学(略称：北大) Hokkaido University(略称：Hokkaido Univ.) |
| 第 6 著者 氏名（和/英） | 高前田 伸也 / Shinya Takamaeda-Yamazaki |
| 第 6 著者 所属（和/英） | 北海道大学(略称：北大) Hokkaido University(略称：Hokkaido Univ.) |
| 第 7 著者 氏名（和/英） | 本村 真人 / Masato Motomura |
| 第 7 著者 所属（和/英） | 東京工業大学(略称：東工大) Tokyo Institute of Technology(略称：Tokyo Institute of Technology) |
| 発表年月日 | 2019-05-10 |
| 資料番号 | RECONF2019-18 |
| 巻番号（vol） | vol.119 |
| 号番号（no） | RECONF-18 |
| ページ範囲 | pp.97-102(RECONF), |
| ページ数 | 6 |
| 発行日 | 2019-05-02 (RECONF) |