WEKO3
アイテム
TensorCoreを用いた精度補正単精度行列積
https://ipsj.ixsq.nii.ac.jp/records/211875
https://ipsj.ixsq.nii.ac.jp/records/211875e4cb4a05-f971-49a0-a8bf-30e8856ab9f6
| 名前 / ファイル | ライセンス | アクション |
|---|---|---|
IPSJ-HPC21180007.pdf (1.1 MB)
|
Copyright (c) 2021 by the Information Processing Society of Japan
|
|
| オープンアクセス | ||
| Item type | SIG Technical Reports(1) | |||||||||
|---|---|---|---|---|---|---|---|---|---|---|
| 公開日 | 2021-07-13 | |||||||||
| タイトル | ||||||||||
| タイトル | TensorCoreを用いた精度補正単精度行列積 | |||||||||
| 言語 | ||||||||||
| 言語 | jpn | |||||||||
| キーワード | ||||||||||
| 主題Scheme | Other | |||||||||
| 主題 | アクセラレータ | |||||||||
| 資源タイプ | ||||||||||
| 資源タイプ識別子 | http://purl.org/coar/resource_type/c_18gh | |||||||||
| 資源タイプ | technical report | |||||||||
| 著者所属 | ||||||||||
| 東京工業大学 | ||||||||||
| 著者所属 | ||||||||||
| 東京工業大学 | ||||||||||
| 著者所属(英) | ||||||||||
| en | ||||||||||
| Tokyo Institute of Technology | ||||||||||
| 著者所属(英) | ||||||||||
| en | ||||||||||
| Tokyo Institute of Technology | ||||||||||
| 著者名 |
大友, 広幸
× 大友, 広幸
× 横田, 理央
|
|||||||||
| 論文抄録 | ||||||||||
| 内容記述タイプ | Other | |||||||||
| 内容記述 | NVIDIA TensorCore は最大 300TFlop/s 以上の性能を持つ混合精度行列積演算回路である．TensorCore は深層学習からの高い行列積需要に対応するために開発されたが，線型方程式の反復解法やフーリエ変換など，深層学習以外の分野への応用も研究されている．密行列積計算も深層学習に限らず幅広い分野において重要な計算である．TensorCore は入力として半精度（FP16）行列をとるため，これを用いて単精度（FP32）密行列積計算を行う場合は，はじめに入力行列を半精度へ変換する必要がある．しかしこの操作によって単精度度行列積の計算精度が劣化する．そこで入力行列を半精度へ変換する際に失われる仮数部を別の FP16 変数で保持し，これを用いて単精度行列積の計算精度を補正する手法が考案された．この手法では単精度演算器を用いた行列積と比較して高速に計算可能ではあるが，誤差の蓄積が大きく計算精度が悪いという問題が確認されている．本研究ではこの誤差蓄積の原因となる 2 つの問題に着目し，それらの改善を行うことで，単精度演算器で計算した場合と同等の計算精度でより高速な単精度行列積手法を開発した．この手法をオープンソースの行列積ライブラリである NVIDIA CUTLASS に実装し，様々な入力行列での計算精度・計算性能の評価を行った．計算性能では 40TFlop/s 以上の性能を実現した． | |||||||||
| 書誌レコードID | ||||||||||
| 収録物識別子タイプ | NCID | |||||||||
| 収録物識別子 | AN10463942 | |||||||||
| 書誌情報 |
研究報告ハイパフォーマンスコンピューティング（HPC） 巻 2021-HPC-180, 号 7, p. 1-9, 発行日 2021-07-13 |
|||||||||
| ISSN | ||||||||||
| 収録物識別子タイプ | ISSN | |||||||||
| 収録物識別子 | 2188-8841 | |||||||||
| Notice | ||||||||||
| SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc. | ||||||||||
| 出版者 | ||||||||||
| 言語 | ja | |||||||||
| 出版者 | 情報処理学会 | |||||||||
