講演抄録/キーワード |
講演名 |
2021-10-28 15:30
ニューロンの球面クラスタリングによる深層ニューラルネットワークモデル圧縮 ○坂本 慎・置田真生・伊野文彦(阪大) NC2021-22 |
抄録 |
(和) |
本論文では,深層ニューラルネットワーク(DNN)推論モデルの精度を維持しながらメモリ使用量および 計算量を削減する手法として,ニューロンの球面クラスタリングによる重み行列の圧縮手法を提案する.一般的な |
(英) |
In this paper, we propose weight matrix compression with spherical clustering of neurons , aiming at reducing memory usage and computational complexity while maintaining the accuracy of deep neural network (DNN) inference models. Compared with existing methods that use general k-means clustering, the proposed method reduces the information loss with compression by unit spherizing the weight vector space in advance. Furthermore, the proposed method embeds the vector norm separated by spherization into the weight matrix of the previous layer, in order to obtain the identical calculation results without additional computation and space. We conducted experiments with AlexNet of the DNN model to compare the predictability of compressed DNN models with the proposed method and an existing method. Experimental results show that the proposed method can improve the accuracy of prediction by up to 20 at the same column reduction ratio in the case of high sparsity of the weight matrix before compression. |
キーワード |
(和) |
情報損失 / 枝刈り / k-means法 / 全結合層 / / / / |
(英) |
information loss / pruning / k-means / fully connected layer / / / / |
文献情報 |
信学技報, vol. 121, no. 223, NC2021-22, pp. 22-27, 2021年10月. |
資料番号 |
NC2021-22 |
発行日 |
2021-10-21 (NC) |
ISSN |
Online edition: ISSN 2432-6380 |
著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) |
PDFダウンロード |
NC2021-22 |