WEKO3
アイテム
パイプライン並列分散深層学習の一実装手法の提案
https://ipsj.ixsq.nii.ac.jp/records/211058
https://ipsj.ixsq.nii.ac.jp/records/211058ef38b83f-d7e3-4e48-bf3d-26e223e89c6c
| 名前 / ファイル | ライセンス | アクション |
|---|---|---|
IPSJ-HPC21179008.pdf (1.3 MB)
|
Copyright (c) 2021 by the Information Processing Society of Japan
|
|
| オープンアクセス | ||
| Item type | SIG Technical Reports(1) | |||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 公開日 | 2021-05-07 | |||||||||||
| タイトル | ||||||||||||
| タイトル | パイプライン並列分散深層学習の一実装手法の提案 | |||||||||||
| タイトル | ||||||||||||
| 言語 | en | |||||||||||
| タイトル | Proposing an Implementation Method for Pipeline Parallelism Distributed Deep Learning | |||||||||||
| 言語 | ||||||||||||
| 言語 | jpn | |||||||||||
| キーワード | ||||||||||||
| 主題Scheme | Other | |||||||||||
| 主題 | 高性能計算 | |||||||||||
| 資源タイプ | ||||||||||||
| 資源タイプ識別子 | http://purl.org/coar/resource_type/c_18gh | |||||||||||
| 資源タイプ | technical report | |||||||||||
| 著者所属 | ||||||||||||
| 東京工科大学 | ||||||||||||
| 著者所属 | ||||||||||||
| 電気通信大学 | ||||||||||||
| 著者所属 | ||||||||||||
| 東京工科大学 | ||||||||||||
| 著者所属(英) | ||||||||||||
| en | ||||||||||||
| Tokyo University of Technology | ||||||||||||
| 著者所属(英) | ||||||||||||
| en | ||||||||||||
| The University of Electro-Communication | ||||||||||||
| 著者所属(英) | ||||||||||||
| en | ||||||||||||
| Tokyo University of Technology | ||||||||||||
| 著者名 |
滝澤, 尚輝
× 滝澤, 尚輝
× 矢崎, 俊志
× 石畑, 宏明
|
|||||||||||
| 論文抄録 | ||||||||||||
| 内容記述タイプ | Other | |||||||||||
| 内容記述 | 本論文では，並列計算機におけるパイプライン並列深層学習の一実装手法を提案し，その評価・分析を行う．パイプライン並列ではニューラルネットワークモデルを分割し，各プロセスに割り当てる．ハードウェア効率を向上させるため，ミニバッチを分割したマイクロバッチを用いて各プロセスの処理をオーバーラップする．パイプライン並列の利点はマイクロバッチ処理のオーバーラップによる高速化と，メモリ消費の分散である．本研究では，パイプライン並列におけるニューラルネットワークモデルの分割の記述方法を提案する．全結合層 32 層からなるシンプルなネットワークを用いてパイプライン並列の高速化の効果について分析を行う． | |||||||||||
| 書誌レコードID | ||||||||||||
| 収録物識別子タイプ | NCID | |||||||||||
| 収録物識別子 | AN10463942 | |||||||||||
| 書誌情報 |
研究報告ハイパフォーマンスコンピューティング（HPC） 巻 2021-HPC-179, 号 8, p. 1-7, 発行日 2021-05-07 |
|||||||||||
| ISSN | ||||||||||||
| 収録物識別子タイプ | ISSN | |||||||||||
| 収録物識別子 | 2188-8841 | |||||||||||
| Notice | ||||||||||||
| SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc. | ||||||||||||
| 出版者 | ||||||||||||
| 言語 | ja | |||||||||||
| 出版者 | 情報処理学会 | |||||||||||
