ログイン 新規登録
言語:

WEKO3

  • トップ
  • ランキング
To
lat lon distance
To

Field does not validate



インデックスリンク

インデックスツリー

メールアドレスを入力してください。

WEKO

One fine body…

WEKO

One fine body…

アイテム

  1. 研究報告
  2. システム・アーキテクチャ(ARC)
  3. 2021
  4. 2021-ARC-244

Sparse Neural NetworkにおけるSpMMの並列/ベクトル化による高速化

https://ipsj.ixsq.nii.ac.jp/records/210462
https://ipsj.ixsq.nii.ac.jp/records/210462
9ed766ee-c932-4e5b-8007-6b163df7d476
名前 / ファイル ライセンス アクション
IPSJ-ARC21244013.pdf IPSJ-ARC21244013.pdf (2.2 MB)
Copyright (c) 2021 by the Institute of Electronics, Information and Communication Engineers This SIG report is only available to those in membership of the SIG.
ARC:会員:¥0, DLIB:会員:¥0
Item type SIG Technical Reports(1)
公開日 2021-03-18
タイトル
タイトル Sparse Neural NetworkにおけるSpMMの並列/ベクトル化による高速化
タイトル
言語 en
タイトル Parallelization and Vectorization of SpMM for Sparse Neural Network
言語
言語 jpn
キーワード
主題Scheme Other
主題 機械学習
資源タイプ
資源タイプ識別子 http://purl.org/coar/resource_type/c_18gh
資源タイプ technical report
著者所属
早稲田大学基幹理工学部情報理工学科
著者所属(英)
en
Department of Computer Science and Engineering, Waseda University
著者所属(英)
en
Department of Computer Science and Engineering, Waseda University
著者所属(英)
en
Department of Computer Science and Engineering, Waseda University
著者名 田處, 雄大

× 田處, 雄大

田處, 雄大

Search repository
木村, 啓二

× 木村, 啓二

木村, 啓二

Search repository
笠原, 博徳

× 笠原, 博徳

笠原, 博徳

Search repository
著者名(英) Yuta, Tadokoro

× Yuta, Tadokoro

en Yuta, Tadokoro

Search repository
Keiji, Kimura

× Keiji, Kimura

en Keiji, Kimura

Search repository
Hironori, Kasahara

× Hironori, Kasahara

en Hironori, Kasahara

Search repository
論文抄録
内容記述タイプ Other
内容記述 Deep Learning(深層学習)におけるモデル圧縮手法の一つとしてプルーニングが知られている.プルーニングにより重要度の低い重みを削除することにより,高い認識精度を維持しつつモデルのサイズを削減することができる.またその結果,重み行列は疎行列として表現されることになる.しかし,プルーニングによって得られる疎行列は科学技術計算などに用いられる疎行列と異なり,ランダム性の高いものとなっており,非零要素の局所性を活かした高速化は困難である.本稿では,ランダム性の高い疎行列を対象とした SpMM (疎行列密行列積) の高速化手法を報告する.本提案手法を ResNet50 に対して適用し,NEC SX-Aurora TSUBASA 上で評価を行った.ベンダ提供の BLAS ライブラリ使用時に対して提案手法を適用した層では 1 コアで最大 2.78 倍の速度向上,モデル全体では 8 コアで 1.98 倍の速度向上がそれぞれ得られた.
論文抄録(英)
内容記述タイプ Other
内容記述 Pruning is one of the well-known model compression techniques in Deep Learning. Eliminating less important weights in the model provides a smaller model size than the original one while keeping high accuracy. As a result of the pruning, the weight matrices are represented as sparse matrices. However, the sparse matrices obtained by pruning are highly randomized, unlike the sparse matrices used in scientific applications. Thus it is difficult to employ acceleration techniques for them relying on the locality of non-zero elements. This paper proposes a method to accelerate SpMM (Sparse Matrix - Dense Matrix Multiplication) for sparse matrices with high randomness. The proposed method is applied to ResNet50 and evaluated on NEC SX-Aurora TSUBASA. The speed-ups were 2.78 times with one processor core for the layer to which the proposed method was used and 1.98 times with eight processor cores for the whole model.
書誌レコードID
収録物識別子タイプ NCID
収録物識別子 AN10096105
書誌情報 研究報告システム・アーキテクチャ(ARC)

巻 2021-ARC-244, 号 13, p. 1-6, 発行日 2021-03-18
ISSN
収録物識別子タイプ ISSN
収録物識別子 2188-8574
Notice
SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
出版者
言語 ja
出版者 情報処理学会
戻る
0
views
See details
Views

Versions

Ver.1 2025-01-19 18:09:12.674705
Show All versions

Share

Mendeley Twitter Facebook Print Addthis

Cite as

エクスポート

OAI-PMH
  • OAI-PMH JPCOAR
  • OAI-PMH DublinCore
  • OAI-PMH DDI
Other Formats
  • JSON
  • BIBTEX

Confirm


Powered by WEKO3


Powered by WEKO3