| 講演名 | 2021-03-25 Sparse Neural NetworkにおけるSpMMの並列/ベクトル化による高速化 田處 雄大(早大), 木村 啓二(早大), 笠原 博徳(早大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | Deep Learning（深層学習）におけるモデル圧縮手法の一つとしてプルーニングが知られている．プルーニングにより重要度の低い重みを削除することにより，高い認識精度を維持しつつモデルのサイズを削減することができる．またその結果，重み行列は疎行列として表現されることになる．しかし，プルーニングによって得られる疎行列は科学技術計算などに用いられる疎行列と異なり，ランダム性の高いものとなっており，非零要素の局所性を活かした高速化は困難である．本稿では，ランダム性の高い疎行列を対象としたSpMM(疎行列密行列積)の高速化手法を報告する．本提案手法をResNet50に対して適用し，NEC SX-Aurora TSUBASA上で評価を行った．ベンダ提供のBLASライブラリ使用時に対して提案手法を適用した層では1コアで最大2.78倍の速度向上，モデル全体では8コアで1.98倍の速度向上がそれぞれ得られた． |
| 抄録(英) | Pruning is one of the well-known model compression techniques in Deep Learning. Eliminating less important weights in the model provides a smaller model size than the original one while keeping high accuracy. As a result of the pruning, the weight matrices are represented as sparse matrices. However, the sparse matrices obtained by pruningare highly randomized, unlike the sparse matrices used in scientific applications. Thus it is difficult to employ acceleration techniques for them relying on the locality of non-zero elements. This paper proposes a method to accelerate SpMM (Sparse Matrix - Dense Matrix Multiplication) for sparse matrices with high randomness. The proposed method is applied to ResNet50 and evaluated on NEC SX-Aurora TSUBASA. The speed-ups were 2.78 times with one processor core for the layer to which the proposed method was used and 1.98 times with eight processor cores for the whole model. |
| キーワード(和) | SpMM(疎行列密行列積) / Sparse Neural Network / ベクトルプロセッサ |
| キーワード(英) | SpMM / Sparse Neural Network / Vector Processor |
| 資料番号 | CPSY2020-55,DC2020-85 |
| 発行日 | 2021-03-18 (CPSY, DC) |
| 研究会情報 | |
| 研究会 | CPSY / DC / IPSJ-SLDM / IPSJ-EMB / IPSJ-ARC |
|---|---|
| 開催期間 | 2021/3/25(から2日開催) |
| 開催地（和） | オンライン開催 |
| 開催地（英） | Online |
| テーマ（和） | 組込み技術とネットワークに関するワークショップ ETNET2021 |
| テーマ（英） | ETNET2021 |
| 委員長氏名（和） | 入江 英嗣(東大) / 高橋 寛(愛媛大) / 中村 祐一(NEC) / / 井上 弘士(九大) |
| 委員長氏名（英） | Hidetsugu Irie(Univ. of Tokyo) / Hiroshi Takahashi(Ehime Univ.) / Yuichi Nakamura(NEC) / / Hiroshi Inoue(Kyushu Univ.) |
| 副委員長氏名（和） | 鯉渕 道紘(NII) / 中島 耕太(富士通研) / 土屋 達弘(阪大) |
| 副委員長氏名（英） | Michihiro Koibuchi(NII) / Kota Nakajima(Fujitsu Lab.) / Tatsuhiro Tsuchiya(Osaka Univ.) |
| 幹事氏名（和） | 高前田 伸也(東大) / 津邑 公暁(名工大) / 新井 雅之(日大) / 難波 一輝(千葉大) / 瀬戸 謙修(東京都市大) / 密山 幸男(高知工科大) / 君家 一紀(三菱電機) / 廣本 正之(富士通研) / / 今村 智(富士通研) / 塩谷 亮太(東大) / 谷本 輝夫(九大) / 新田 高庸(NTT) |
| 幹事氏名（英） | Shinya Takameda(Univ. of Tokyo) / Tomoaki Tsumura(Nagoya Inst. of Tech.) / Masayuki Arai(Nihon Univ.) / Kazuteru Namba(Chiba Univ.) / Kenshu Seto(Tokyo City Univ.) / Yukio Mitsuyama(Kochi Univ. of Tech.) / Kazuki Oya(Mitsubishi Electric) / Masayuki Hiromoto(Fujistu Lab.) / / Satoshi Imamura(Fujitsu Lab.) / Ryota Shioya(Univ. of Tokyo) / Teruo Tanimoto(Kyushu Univ.) / Koyo Nitta(NTT) |
| 幹事補佐氏名（和） | 小川 周吾(日立) / 有間 英志(東大) |
| 幹事補佐氏名（英） | Shugo Ogawa(Hitachi) / Eiji Arima(Univ. of Tokyo) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Computer Systems / Technical Committee on Dependable Computing / Special Interest Group on System and LSI Design Methodology / Special Interest Group on Embedded Systems / Special Interest Group on System Architecture |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | Sparse Neural NetworkにおけるSpMMの並列/ベクトル化による高速化 |
| サブタイトル（和） | |
| タイトル（英） | Parallelization and Vectorization of SpMM for Sparse Neural Network |
| サブタイトル（和） | |
| キーワード(1)（和/英） | SpMM(疎行列密行列積) / SpMM |
| キーワード(2)（和/英） | Sparse Neural Network / Sparse Neural Network |
| キーワード(3)（和/英） | ベクトルプロセッサ / Vector Processor |
| 第 1 著者 氏名（和/英） | 田處 雄大 / Yuta Tadokoro |
| 第 1 著者 所属（和/英） | 早稲田大学(略称：早大) Waseda University(略称：Waseda Univ.) |
| 第 2 著者 氏名（和/英） | 木村 啓二 / Keiji Kimura |
| 第 2 著者 所属（和/英） | 早稲田大学(略称：早大) Waseda University(略称：Waseda Univ.) |
| 第 3 著者 氏名（和/英） | 笠原 博徳 / Hironori Kasahara |
| 第 3 著者 所属（和/英） | 早稲田大学(略称：早大) Waseda University(略称：Waseda Univ.) |
| 発表年月日 | 2021-03-25 |
| 資料番号 | CPSY2020-55,DC2020-85 |
| 巻番号（vol） | vol.120 |
| 号番号（no） | CPSY-435,DC-436 |
| ページ範囲 | pp.31-36(CPSY), pp.31-36(DC), |
| ページ数 | 6 |
| 発行日 | 2021-03-18 (CPSY, DC) |