| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2021-03-25 14:40 Sparse Neural NetworkにおけるSpMMの並列/ベクトル化による高速化 ○田處雄大・木村啓二・笠原博徳（早大）  CPSY2020-55 DC2020-85 |
|
| 抄録 | （和） | Deep Learning（深層学習）におけるモデル圧縮手法の一つとしてプルーニングが知られている． プルーニングにより重要度の低い重みを削除することにより，高い認識精度を維持しつつモデルのサイズを削減することができる． またその結果，重み行列は疎行列として表現されることになる． しかし，プルーニングによって得られる疎行列は科学技術計算などに用いられる疎行列と異なり，ランダム性の高いものとなっており，非零要素の局所性を活かした高速化は困難である． 本稿では，ランダム性の高い疎行列を対象としたSpMM(疎行列密行列積)の高速化手法を報告する．本提案手法をResNet50に対して適用し，NEC SX-Aurora TSUBASA上で評価を行った． ベンダ提供のBLASライブラリ使用時に対して 提案手法を適用した層では1コアで最大2.78倍の速度向上，モデル全体では8コアで1.98倍の速度向上がそれぞれ得られた． |
| （英） | Pruning is one of the well-known model compression techniques in Deep Learning. Eliminating less important weights in the model provides a smaller model size than the original one while keeping high accuracy. As a result of the pruning, the weight matrices are represented as sparse matrices. However, the sparse matrices obtained by pruning are highly randomized, unlike the sparse matrices used in scientific applications. Thus it is difficult to employ acceleration techniques for them relying on the locality of non-zero elements. This paper proposes a method to accelerate SpMM (Sparse Matrix - Dense Matrix Multiplication) for sparse matrices with high randomness. The proposed method is applied to ResNet50 and evaluated on NEC SX-Aurora TSUBASA. The speed-ups were 2.78 times with one processor core for the layer to which the proposed method was used and 1.98 times with eight processor cores for the whole model. |
|
| キーワード | （和） | SpMM(疎行列密行列積) / Sparse Neural Network / ベクトルプロセッサ / / / / / |
| （英） | SpMM / Sparse Neural Network / Vector Processor / / / / / | |
| 文献情報 | 信学技報, vol. 120, no. 435, CPSY2020-55, pp. 31-36, 2021年3月. | |
| 資料番号 | CPSY2020-55 | |
| 発行日 | 2021-03-18 (CPSY, DC) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | CPSY2020-55 DC2020-85 |
|
| 研究会情報 | |
| 研究会 | CPSY DC IPSJ-SLDM IPSJ-EMB IPSJ-ARC |
| 開催期間 | 2021-03-25 - 2021-03-26 |
| 開催地（和） | オンライン開催 |
| 開催地（英） | Online |
| テーマ（和） | 組込み技術とネットワークに関するワークショップ ETNET2021 |
| テーマ（英） | ETNET2021 |
| 講演論文情報の詳細 | |
| 申込み研究会 | CPSY |
| 会議コード | 2021-03-CPSY-DC-SLDM-EMB-ARC |
| 本文の言語 | 日本語 |
| タイトル（和） | Sparse Neural NetworkにおけるSpMMの並列/ベクトル化による高速化 |
| サブタイトル（和） | |
| タイトル（英） | Parallelization and Vectorization of SpMM for Sparse Neural Network |
| サブタイトル（英） | |
| キーワード(1)（和/英） | SpMM(疎行列密行列積) / SpMM |
| キーワード(2)（和/英） | Sparse Neural Network / Sparse Neural Network |
| キーワード(3)（和/英） | ベクトルプロセッサ / Vector Processor |
| キーワード(4)（和/英） | / |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 田處 雄大 / Yuta Tadokoro / タドコロ ユウタ |
| 第1著者 所属（和/英） | 早稲田大学 (略称： 早大) Waseda University (略称： Waseda Univ.) |
| 第2著者 氏名（和/英/ヨミ） | 木村 啓二 / Keiji Kimura / キムラ ケイジ |
| 第2著者 所属（和/英） | 早稲田大学 (略称： 早大) Waseda University (略称： Waseda Univ.) |
| 第3著者 氏名（和/英/ヨミ） | 笠原 博徳 / Hironori Kasahara / カサハラ ヒロノリ |
| 第3著者 所属（和/英） | 早稲田大学 (略称： 早大) Waseda University (略称： Waseda Univ.) |
| 第4著者 氏名（和/英/ヨミ） | / / |
| 第4著者 所属（和/英） | (略称： ) (略称： ) |
| 第5著者 氏名（和/英/ヨミ） | / / |
| 第5著者 所属（和/英） | (略称： ) (略称： ) |
| 第6著者 氏名（和/英/ヨミ） | / / |
| 第6著者 所属（和/英） | (略称： ) (略称： ) |
| 第7著者 氏名（和/英/ヨミ） | / / |
| 第7著者 所属（和/英） | (略称： ) (略称： ) |
| 第8著者 氏名（和/英/ヨミ） | / / |
| 第8著者 所属（和/英） | (略称： ) (略称： ) |
| 第9著者 氏名（和/英/ヨミ） | / / |
| 第9著者 所属（和/英） | (略称： ) (略称： ) |
| 第10著者 氏名（和/英/ヨミ） | / / |
| 第10著者 所属（和/英） | (略称： ) (略称： ) |
| 第11著者 氏名（和/英/ヨミ） | / / |
| 第11著者 所属（和/英） | (略称： ) (略称： ) |
| 第12著者 氏名（和/英/ヨミ） | / / |
| 第12著者 所属（和/英） | (略称： ) (略称： ) |
| 第13著者 氏名（和/英/ヨミ） | / / |
| 第13著者 所属（和/英） | (略称： ) (略称： ) |
| 第14著者 氏名（和/英/ヨミ） | / / |
| 第14著者 所属（和/英） | (略称： ) (略称： ) |
| 第15著者 氏名（和/英/ヨミ） | / / |
| 第15著者 所属（和/英） | (略称： ) (略称： ) |
| 第16著者 氏名（和/英/ヨミ） | / / |
| 第16著者 所属（和/英） | (略称： ) (略称： ) |
| 第17著者 氏名（和/英/ヨミ） | / / |
| 第17著者 所属（和/英） | (略称： ) (略称： ) |
| 第18著者 氏名（和/英/ヨミ） | / / |
| 第18著者 所属（和/英） | (略称： ) (略称： ) |
| 講演者 | 第1著者 |
| 発表日時 | 2021-03-25 14:40:00 |
| 発表時間 | 20分 |
| 申込先研究会 | CPSY |
| 資料番号 | CPSY2020-55, DC2020-85 |
| 巻番号（vol） | vol.120 |
| 号番号（no） | no.435(CPSY), no.436(DC) |
| ページ範囲 | pp.31-36 |
| ページ数 | 6 |
| 発行日 | 2021-03-18 (CPSY, DC) |
[研究会発表申込システムのトップページに戻る]