2026-03-06T03:32:09Z https://ipsj.ixsq.nii.ac.jp/oai

oai:ipsj.ixsq.nii.ac.jp:00217929 2025-01-19T15:15:42Z 581:10784:10790

パイプライン並列分散深層学習の一実装手法の評価 Evaluation of an Implementation Method for Pipeline Parallelism Distributed Deep Learning 滝澤, 尚輝 矢崎, 俊志 石畑, 宏明 Naoki, Takisawa Syunji, Yazaki Hiroaki, Ishihata [特集:情報システム論文] 分散深層学習，並列処理 本論文では，並列計算機におけるパイプライン並列分散深層学習の一実装手法の評価・分析を行う．パイプライン並列ではニューラルネットワークモデルを分割し，各プロセスに割り当てる．ハードウェア効率を向上させるため，ミニバッチを分割したマイクロバッチを用いて各プロセスの処理をオーバラップする．パイプライン並列の利点はマイクロバッチ処理のオーバラップによる高速化と，メモリ消費の分散である．本研究では，パイプライン並列におけるニューラルネットワークモデルの分割の記述方法を提案する．全結合層32層からなるシンプルなネットワークを用いてパイプライン並列の高速化の効果について分析を行う．VGG16とResNet50を用いて，複雑なモデルにおけるパイプライン並列の評価を行う． In this paper, we evaluate and analyze an implementation method of pipeline parallelism distributed deep learning on parallel computers. In pipeline parallelism, a neural network model is partitioned and assigned to each process. To improve hardware efficiency, we use microbatches, which are divided minibatches, to overlap the processing of each process. The advantage of pipeline parallelism is that the overlapping of microbatch processes increases the speed and distributes the memory consumtion. In this study, we propose a method for describing the partitioning of neural network models in pipeline parallelism. We analyze the speedup effect of pipeline parallelism using a simple network with 32 fully connected layers. Using VGG16 and ResNet50, we evaluate the pipeline parallelism. 2022-05-15 jpn journal article https://doi.org/10.20729/00217821 https://ipsj.ixsq.nii.ac.jp/records/217929 10.20729/00217821 1882-7764 AN00116647 情報処理学会論文誌 63 5 1206 1215 https://ipsj.ixsq.nii.ac.jp/record/217929/files/IPSJ-JNL6305003.pdf application/pdf 1.5 MB 2024-05-15