| 講演名 | 2021-06-08 対称的二進表現に基づくビットスケーラブルCNN推論手法 鈴木 淳之介(東工大), 安藤 洸太(東工大), 廣瀬 一俊(東工大), 川村 一志(東工大), Thiem Van Chu(東工大), 本村 真人(東工大), 劉 載勲(東工大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 組み込みシステム向けのニューラルネットワークは，学習段階で消費電力や計算資源の制約を考慮すること で設計要求を満たすことができるが，固定的な計算量を要する単一ネットワークでは計算リソースや運用環境の変動に 対して柔軟に対応することができない.本発表では，BWB (bit-wise binay) 量子化，ABS (accumulative bit-serial) 推論， BN (batch normalization) 再学習から構成され，単一ネットワークのみでスケーラブルな推論を実現する ProgressiveNN を提案する.ProgressiveNN は，ネットワークの変更を必要とせず，そのネットワークパラメータは一度の学習で得 ることができる.BWB 量子化は，各パラメータを分解し，ABS 推論のためにビット単位のフォーマットに変換する. ABS 推論では，パラメータを MSB から順に使用することで，段階的な推論を可能とする.評価の結果，提案手法は， CIFAR-10/100-ResNet18 において，単一のネットワークパラメータセットを用いて，12.5% から 100% の計算量のス ケーラビリティを実現した.また，BN の再学習により，低い計算コストで精度の低下を抑制し，1 ビット幅の推論で 65% の推論精度を回復できることがわかった. |
| 抄録(英) | |
| キーワード(和) | 深層ニューラルネットワーク / ビット単位量子化 / 段階的推論 / バッチノーマライゼーション再学習 |
| キーワード(英) | |
| 資料番号 | RECONF2021-7 |
| 発行日 | 2021-06-01 (RECONF) |
| 研究会情報 | |
| 研究会 | RECONF |
|---|---|
| 開催期間 | 2021/6/8(から2日開催) |
| 開催地（和） | オンライン開催 |
| 開催地（英） | Online |
| テーマ（和） | リコンフィギャラブルシステム，一般 |
| テーマ（英） | Reconfigurable system, etc. |
| 委員長氏名（和） | 柴田 裕一郎(長崎大) |
| 委員長氏名（英） | Yuichiro Shibata(Nagasaki Univ.) |
| 副委員長氏名（和） | 佐野 健太郎(理研) / 山口 佳樹(筑波大) |
| 副委員長氏名（英） | Kentaro Sano(RIKEN) / Yoshiki Yamaguchi(Tsukuba Univ.) |
| 幹事氏名（和） | 三好 健文(イーツリーズ・ジャパン) / 小林 悠記(NEC) |
| 幹事氏名（英） | Takefumi Miyoshi(e-trees.Japan) / Yuuki Kobayashi(NEC) |
| 幹事補佐氏名（和） | 中原 啓貴(東工大) / 竹村 幸尚(インテル) |
| 幹事補佐氏名（英） | Hiroki Nakahara(Tokyo Inst. of Tech.) / Yukitaka Takemura(INTEL) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Reconfigurable Systems |
|---|---|
| 本文の言語 | JPN-ONLY |
| タイトル（和） | 対称的二進表現に基づくビットスケーラブルCNN推論手法 |
| サブタイトル（和） | |
| タイトル（英） | |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 深層ニューラルネットワーク |
| キーワード(2)（和/英） | ビット単位量子化 |
| キーワード(3)（和/英） | 段階的推論 |
| キーワード(4)（和/英） | バッチノーマライゼーション再学習 |
| 第 1 著者 氏名（和/英） | 鈴木 淳之介 / Junnosuke Suzuki |
| 第 1 著者 所属（和/英） | 東京工業大学(略称：東工大) Tokyo Institute of Technology(略称：Tokyo Tech) |
| 第 2 著者 氏名（和/英） | 安藤 洸太 / Kota Ando |
| 第 2 著者 所属（和/英） | 東京工業大学(略称：東工大) Tokyo Institute of Technology(略称：Tokyo Tech) |
| 第 3 著者 氏名（和/英） | 廣瀬 一俊 / Kazutoshi Hirose |
| 第 3 著者 所属（和/英） | 東京工業大学(略称：東工大) Tokyo Institute of Technology(略称：Tokyo Tech) |
| 第 4 著者 氏名（和/英） | 川村 一志 / Kazushi Kawamura |
| 第 4 著者 所属（和/英） | 東京工業大学(略称：東工大) Tokyo Institute of Technology(略称：Tokyo Tech) |
| 第 5 著者 氏名（和/英） | Thiem Van Chu / Thiem Van Chu |
| 第 5 著者 所属（和/英） | 東京工業大学(略称：東工大) Tokyo Institute of Technology(略称：Tokyo Tech) |
| 第 6 著者 氏名（和/英） | 本村 真人 / Masato Motomura |
| 第 6 著者 所属（和/英） | 東京工業大学(略称：東工大) Tokyo Institute of Technology(略称：Tokyo Tech) |
| 第 7 著者 氏名（和/英） | 劉 載勲 / yu jaehoon |
| 第 7 著者 所属（和/英） | 東京工業大学(略称：東工大) Tokyo Institute of Technology(略称：Tokyo Tech) |
| 発表年月日 | 2021-06-08 |
| 資料番号 | RECONF2021-7 |
| 巻番号（vol） | vol.121 |
| 号番号（no） | RECONF-59 |
| ページ範囲 | pp.32-37(RECONF), |
| ページ数 | 6 |
| 発行日 | 2021-06-01 (RECONF) |