WEKO3
アイテム
GPUクラスタにおけるハイブリッド並列DNN学習のボトルネック分析と改良
https://ipsj.ixsq.nii.ac.jp/records/211877
https://ipsj.ixsq.nii.ac.jp/records/211877de00c9c7-54b6-4113-b0a5-13f468b1aabe
| 名前 / ファイル | ライセンス | アクション |
|---|---|---|
IPSJ-HPC21180009.pdf (1.6 MB)
|
Copyright (c) 2021 by the Information Processing Society of Japan
|
|
| オープンアクセス | ||
| Item type | SIG Technical Reports(1) | |||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 公開日 | 2021-07-13 | |||||||||||
| タイトル | ||||||||||||
| タイトル | GPUクラスタにおけるハイブリッド並列DNN学習のボトルネック分析と改良 | |||||||||||
| 言語 | ||||||||||||
| 言語 | jpn | |||||||||||
| キーワード | ||||||||||||
| 主題Scheme | Other | |||||||||||
| 主題 | アクセラレータ | |||||||||||
| 資源タイプ | ||||||||||||
| 資源タイプ識別子 | http://purl.org/coar/resource_type/c_18gh | |||||||||||
| 資源タイプ | technical report | |||||||||||
| 著者所属 | ||||||||||||
| 東京工業大学 | ||||||||||||
| 著者所属 | ||||||||||||
| 東京工業大学 | ||||||||||||
| 著者所属 | ||||||||||||
| 東京工業大学 | ||||||||||||
| 著者所属(英) | ||||||||||||
| en | ||||||||||||
| Tokyo Institute of Technology | ||||||||||||
| 著者所属(英) | ||||||||||||
| en | ||||||||||||
| Tokyo Institute of Technology | ||||||||||||
| 著者所属(英) | ||||||||||||
| en | ||||||||||||
| Tokyo Institute of Technology | ||||||||||||
| 著者名 |
細木, 隆豊
× 細木, 隆豊
× 野村, 哲弘
× 遠藤, 敏夫
|
|||||||||||
| 論文抄録 | ||||||||||||
| 内容記述タイプ | Other | |||||||||||
| 内容記述 | 深層学習は計算量やメモリ使用量の観点から複数のアクセラレータを用いた分散化が注目されており，近年ではデータ並列とモデル並列を組み合わせたハイブリッド並列の研究が多くなされている．本論文ではハイブリッド並列をより効率的に活用するために，学習のボトルネックについて分析を行った．それにより，通信のオーバーヘッドやロードバランスが学習時間に影響をもたらすことがわかった．通信のオーバーヘッドの影響を小さくするように，GPU における計算と通信の並列性を上げ，通信を行うスレッドをまとめる改良を行った．その結果，データ並列性の利用に不均等性がある場合に最大 16% の学習時間の短縮が確認された． | |||||||||||
| 書誌レコードID | ||||||||||||
| 収録物識別子タイプ | NCID | |||||||||||
| 収録物識別子 | AN10463942 | |||||||||||
| 書誌情報 |
研究報告ハイパフォーマンスコンピューティング（HPC） 巻 2021-HPC-180, 号 9, p. 1-8, 発行日 2021-07-13 |
|||||||||||
| ISSN | ||||||||||||
| 収録物識別子タイプ | ISSN | |||||||||||
| 収録物識別子 | 2188-8841 | |||||||||||
| Notice | ||||||||||||
| SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc. | ||||||||||||
| 出版者 | ||||||||||||
| 言語 | ja | |||||||||||
| 出版者 | 情報処理学会 | |||||||||||
