パイプライン並列分散深層学習の一実装手法の評価

• Item type: Journal(1)
• 公開日: 2022-05-15
• タイトル: パイプライン並列分散深層学習の一実装手法の評価
• タイトル / 言語: en
• タイトル: Evaluation of an Implementation Method for Pipeline Parallelism Distributed Deep Learning
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: [特集:情報システム論文] 分散深層学習，並列処理
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_6501
• 資源タイプ: journal article
• ID登録: 10.20729/00217821
• ID登録 / ID登録タイプ: JaLC
• 著者所属: 東京工科大学
• 著者所属: 電気通信大学
• 著者所属: 東京工科大学
• 著者所属(英): en
• 著者所属(英): Tokyo University of Technology
• 著者所属(英): en
• 著者所属(英): The University of Electro-Communications
• 著者所属(英): en
• 著者所属(英): Tokyo University of Technology
• 著者名: 滝澤, 尚輝; 矢崎, 俊志; 石畑, 宏明
• 著者名(英): Naoki, Takisawa; Syunji, Yazaki; Hiroaki, Ishihata
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 本論文では，並列計算機におけるパイプライン並列分散深層学習の一実装手法の評価・分析を行う．パイプライン並列ではニューラルネットワークモデルを分割し，各プロセスに割り当てる．ハードウェア効率を向上させるため，ミニバッチを分割したマイクロバッチを用いて各プロセスの処理をオーバラップする．パイプライン並列の利点はマイクロバッチ処理のオーバラップによる高速化と，メモリ消費の分散である．本研究では，パイプライン並列におけるニューラルネットワークモデルの分割の記述方法を提案する．全結合層32層からなるシンプルなネットワークを用いてパイプライン並列の高速化の効果について分析を行う．VGG16とResNet50を用いて，複雑なモデルにおけるパイプライン並列の評価を行う．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: In this paper, we evaluate and analyze an implementation method of pipeline parallelism distributed deep learning on parallel computers. In pipeline parallelism, a neural network model is partitioned and assigned to each process. To improve hardware efficiency, we use microbatches, which are divided minibatches, to overlap the processing of each process. The advantage of pipeline parallelism is that the overlapping of microbatch processes increases the speed and distributes the memory consumtion. In this study, we propose a method for describing the partitioning of neural network models in pipeline parallelism. We analyze the speedup effect of pipeline parallelism using a simple network with 32 fully connected layers. Using VGG16 and ResNet50, we evaluate the pipeline parallelism.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN00116647
• 書誌情報: 情報処理学会論文誌; 巻 63, 号 5, p. 1206-1215, 発行日 2022-05-15
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 1882-7764