WEKO3
アイテム
負荷分散を改善したハイブリッドパイプライン並列深層学習手法
https://ipsj.ixsq.nii.ac.jp/records/218954
https://ipsj.ixsq.nii.ac.jp/records/2189546e5276fd-3b95-4537-9732-31340dd3812e
| 名前 / ファイル | ライセンス | アクション |
|---|---|---|
IPSJ-HPC22185016.pdf (983.6 kB)
|
Copyright (c) 2022 by the Information Processing Society of Japan
|
|
| オープンアクセス | ||
| Item type | SIG Technical Reports(1) | |||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 公開日 | 2022-07-20 | |||||||||||||
| タイトル | ||||||||||||||
| タイトル | 負荷分散を改善したハイブリッドパイプライン並列深層学習手法 | |||||||||||||
| 言語 | ||||||||||||||
| 言語 | jpn | |||||||||||||
| キーワード | ||||||||||||||
| 主題Scheme | Other | |||||||||||||
| 主題 | 機械学習 | |||||||||||||
| 資源タイプ | ||||||||||||||
| 資源タイプ識別子 | http://purl.org/coar/resource_type/c_18gh | |||||||||||||
| 資源タイプ | technical report | |||||||||||||
| 著者所属 | ||||||||||||||
| 東京工業大学／国立研究開発法人産業技術総合研究所 | ||||||||||||||
| 著者所属 | ||||||||||||||
| 東京工業大学 | ||||||||||||||
| 著者所属 | ||||||||||||||
| 国立研究開発法人産業技術総合研究所 | ||||||||||||||
| 著者所属 | ||||||||||||||
| 国立研究開発法人産業技術総合研究所 | ||||||||||||||
| 著者名 |
細木, 隆豊
× 細木, 隆豊
× 遠藤, 敏夫
× 広渕, 崇宏
× 池上, 努
|
|||||||||||||
| 論文抄録 | ||||||||||||||
| 内容記述タイプ | Other | |||||||||||||
| 内容記述 | 深層学習ではモデルの大規模化傾向に伴い，計算量やメモリ使用量の観点から複数のアクセラレータを用いた学習の分散化が注目されている．分散化手法として，モデルを層単位で複数のステージに分割し，入力データを次々と流すことでステージ間の並列化を可能とするパイプライン並列が提案されてきたが，ロードインバランスによりアイドル時間が生じやすい．本研究では，パイプライン並列にデータ並列を組み合わせ，新規の学習スケジュールを提案することで負荷分散の問題を解消し，学習の高速化を目指すハイブリッドパイプライン並列フレームワークの作成を行った． | |||||||||||||
| 書誌レコードID | ||||||||||||||
| 収録物識別子タイプ | NCID | |||||||||||||
| 収録物識別子 | AN10463942 | |||||||||||||
| 書誌情報 |
研究報告ハイパフォーマンスコンピューティング（HPC） 巻 2022-HPC-185, 号 16, p. 1-8, 発行日 2022-07-20 |
|||||||||||||
| ISSN | ||||||||||||||
| 収録物識別子タイプ | ISSN | |||||||||||||
| 収録物識別子 | 2188-8841 | |||||||||||||
| Notice | ||||||||||||||
| SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc. | ||||||||||||||
| 出版者 | ||||||||||||||
| 言語 | ja | |||||||||||||
| 出版者 | 情報処理学会 | |||||||||||||
