Sparse Neural NetworkにおけるSpMMの並列/ベクトル化による高速化

• Item type: SIG Technical Reports(1)
• 公開日: 2021-03-18
• タイトル: Sparse Neural NetworkにおけるSpMMの並列/ベクトル化による高速化
• タイトル / 言語: en
• タイトル: Parallelization and Vectorization of SpMM for Sparse Neural Network
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: 機械学習
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 早稲田大学基幹理工学部情報理工学科
• 著者所属(英): en
• 著者所属(英): Department of Computer Science and Engineering, Waseda University
• 著者所属(英): en
• 著者所属(英): Department of Computer Science and Engineering, Waseda University
• 著者所属(英): en
• 著者所属(英): Department of Computer Science and Engineering, Waseda University
• 著者名: 田處, 雄大; 木村, 啓二; 笠原, 博徳
• 著者名(英): Yuta, Tadokoro; Keiji, Kimura; Hironori, Kasahara
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: Deep Learning（深層学習）におけるモデル圧縮手法の一つとしてプルーニングが知られている．プルーニングにより重要度の低い重みを削除することにより，高い認識精度を維持しつつモデルのサイズを削減することができる．またその結果，重み行列は疎行列として表現されることになる．しかし，プルーニングによって得られる疎行列は科学技術計算などに用いられる疎行列と異なり，ランダム性の高いものとなっており，非零要素の局所性を活かした高速化は困難である．本稿では，ランダム性の高い疎行列を対象とした SpMM (疎行列密行列積) の高速化手法を報告する．本提案手法を ResNet50 に対して適用し，NEC SX-Aurora TSUBASA 上で評価を行った．ベンダ提供の BLAS ライブラリ使用時に対して提案手法を適用した層では 1 コアで最大 2.78 倍の速度向上，モデル全体では 8 コアで 1.98 倍の速度向上がそれぞれ得られた．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: Pruning is one of the well-known model compression techniques in Deep Learning. Eliminating less important weights in the model provides a smaller model size than the original one while keeping high accuracy. As a result of the pruning, the weight matrices are represented as sparse matrices. However, the sparse matrices obtained by pruning are highly randomized, unlike the sparse matrices used in scientific applications. Thus it is difficult to employ acceleration techniques for them relying on the locality of non-zero elements. This paper proposes a method to accelerate SpMM (Sparse Matrix - Dense Matrix Multiplication) for sparse matrices with high randomness. The proposed method is applied to ResNet50 and evaluated on NEC SX-Aurora TSUBASA. The speed-ups were 2.78 times with one processor core for the layer to which the proposed method was used and 1.98 times with eight processor cores for the whole model.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10096105
• 書誌情報: 研究報告システム・アーキテクチャ（ARC）; 巻 2021-ARC-244, 号 13, p. 1-6, 発行日 2021-03-18
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8574
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会