2024-03-28T21:40:01Zhttps://ipsj.ixsq.nii.ac.jp/ej/?action=repository_oaipmhoai:ipsj.ixsq.nii.ac.jp:002105112023-04-27T10:00:04Z01164:02822:10563:10564
Sparse Neural NetworkにおけるSpMMの並列/ベクトル化による高速化Parallelization and Vectorization of SpMM for Sparse Neural Networkjpn機械学習http://id.nii.ac.jp/1001/00210409/Technical Reporthttps://ipsj.ixsq.nii.ac.jp/ej/?action=repository_action_common_download&item_id=210511&item_no=1&attribute_id=1&file_no=1Copyright (c) 2021 by the Institute of Electronics, Information and Communication Engineers This SIG report is only available to those in membership of the SIG.早稲田大学基幹理工学部情報理工学科田處, 雄大木村, 啓二笠原, 博徳Deep Learning(深層学習)におけるモデル圧縮手法の一つとしてプルーニングが知られている.プルーニングにより重要度の低い重みを削除することにより,高い認識精度を維持しつつモデルのサイズを削減することができる.またその結果,重み行列は疎行列として表現されることになる.しかし,プルーニングによって得られる疎行列は科学技術計算などに用いられる疎行列と異なり,ランダム性の高いものとなっており,非零要素の局所性を活かした高速化は困難である.本稿では,ランダム性の高い疎行列を対象とした SpMM (疎行列密行列積) の高速化手法を報告する.本提案手法を ResNet50 に対して適用し,NEC SX-Aurora TSUBASA 上で評価を行った.ベンダ提供の BLAS ライブラリ使用時に対して提案手法を適用した層では 1 コアで最大 2.78 倍の速度向上,モデル全体では 8 コアで 1.98 倍の速度向上がそれぞれ得られた.Pruning is one of the well-known model compression techniques in Deep Learning. Eliminating less important weights in the model provides a smaller model size than the original one while keeping high accuracy. As a result of the pruning, the weight matrices are represented as sparse matrices. However, the sparse matrices obtained by pruning are highly randomized, unlike the sparse matrices used in scientific applications. Thus it is difficult to employ acceleration techniques for them relying on the locality of non-zero elements. This paper proposes a method to accelerate SpMM (Sparse Matrix - Dense Matrix Multiplication) for sparse matrices with high randomness. The proposed method is applied to ResNet50 and evaluated on NEC SX-Aurora TSUBASA. The speed-ups were 2.78 times with one processor core for the layer to which the proposed method was used and 1.98 times with eight processor cores for the whole model.AA12149313研究報告組込みシステム(EMB)2021-EMB-5613162021-03-182188-868x2021-03-15