| 講演名 | 2022-12-15 活性化関数の出力誤差に基づくDNN圧縮法 菅間 幸司(和歌山大), 和田 俊和(和歌山大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | Deep Neural Network(DNN)は機械学習の分野における主要技術の一つである.しかし，DNN を利用する ためには大量の計算をこなす必要があるため，計算リソースが限られた環境での利用が難しい.そこで，学習済みの DNN モデルの精度を保ちつつ圧縮を行うことができる技術が望まれている.プルーニングは，冗長なニューロン(チャ ネル)を削除することにより，DNN モデルを圧縮する方法である.本稿では Pruning with Output Error Minimization (POEM)という手法を提案する.POEM はプルーニングの後に，出力誤差を補償する「再構成」を行うことが特徴で ある.類似する既存手法では，活性化関数適用前の誤差を基準に再構成が行われるのに対し，POEM では活性化関数 適用後の誤差を基準に再構成が行われる.そのため，POEM は既存手法よりも DNN モデルの精度を高く維持するこ とができる.画像認識用の DNN モデル(VGG-16, ResNet-18, Mobilenet)を用いた実験において，提案手法の有効性 を実証することができた. |
| 抄録(英) | Deep Neural Networks (DNNs) are dominant in the field of machine learning. However, because DNN models have large computational complexity, implementation of DNN models on resource-limited equipment is challenging. Therefore, techniques for compressing DNN models without degrading their accuracy is desired. Pruning is one such technique that re- moves redundant neurons (or channels). In this paper, we present Pruning with Output Error Minimization (POEM), a method that performs not only pruning but also reconstruction to compensate the error caused by pruning. The strength of POEM lies in its reconstruction to minimize the output error of the activation function, whereas the previous methods minimize the error before the activation function. The experiments with well-known DNN models (VGG-16, ResNet-18, MobileNet) and image recognition datasets (ImageNet, CUB-200-2011) were conducted. The results show that POEM significantly outperformed the previous methods in maintaining the accuracy of the compressed models. |
| キーワード(和) | プルーニング / 再構成 / 活性化関数 |
| キーワード(英) | pruning / reconstruction / activation function |
| 資料番号 | PRMU2022-38 |
| 発行日 | 2022-12-08 (PRMU) |
| 研究会情報 | |
| 研究会 | PRMU |
|---|---|
| 開催期間 | 2022/12/15(から2日開催) |
| 開催地（和） | 富山国際会議場 |
| 開催地（英） | Toyama International Conference Center |
| テーマ（和） | 制御のためのCV |
| テーマ（英） | |
| 委員長氏名（和） | 内田 誠一(九大) |
| 委員長氏名（英） | Seiichi Uchida(Kyushu Univ.) |
| 副委員長氏名（和） | 舩冨 卓哉(奈良先端大) / 安倍 満(デンソーアイティーラボラトリ) |
| 副委員長氏名（英） | Takuya Funatomi(NAIST) / Mitsuru Anpai(Denso IT Lab.) |
| 幹事氏名（和） | 山口 光太(サイバーエージェント) / 松井 勇佑(東大) |
| 幹事氏名（英） | Kouta Yamaguchi(CyberAgent) / Yusuke Matsui(Univ. of Tokyo) |
| 幹事補佐氏名（和） | 井上 中順(東工大) / 川西 康友(理研) |
| 幹事補佐氏名（英） | Nakamasa Inoue(Tokyo Inst. of Tech.) / Yasutomo Kawanishi(Riken) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Pattern Recognition and Media Understanding |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 活性化関数の出力誤差に基づくDNN圧縮法 |
| サブタイトル（和） | |
| タイトル（英） | A DNN compression method based on output error of activation functions |
| サブタイトル（和） | |
| キーワード(1)（和/英） | プルーニング / pruning |
| キーワード(2)（和/英） | 再構成 / reconstruction |
| キーワード(3)（和/英） | 活性化関数 / activation function |
| 第 1 著者 氏名（和/英） | 菅間 幸司 / Koji Kamma |
| 第 1 著者 所属（和/英） | 和歌山大学(略称：和歌山大) Wakayama University(略称：Wakayama Univ.) |
| 第 2 著者 氏名（和/英） | 和田 俊和 / Toshikazu Wada |
| 第 2 著者 所属（和/英） | 和歌山大学(略称：和歌山大) Wakayama University(略称：Wakayama Univ.) |
| 発表年月日 | 2022-12-15 |
| 資料番号 | PRMU2022-38 |
| 巻番号（vol） | vol.122 |
| 号番号（no） | PRMU-314 |
| ページ範囲 | pp.34-39(PRMU), |
| ページ数 | 6 |
| 発行日 | 2022-12-08 (PRMU) |