@techreport{oai:ipsj.ixsq.nii.ac.jp:00218954,
 author = {細木, 隆豊 and 遠藤, 敏夫 and 広渕, 崇宏 and 池上, 努},
 issue = {16},
 month = {Jul},
 note = {深層学習ではモデルの大規模化傾向に伴い，計算量やメモリ使用量の観点から複数のアクセラレータを用いた学習の分散化が注目されている．分散化手法として，モデルを層単位で複数のステージに分割し，入力データを次々と流すことでステージ間の並列化を可能とするパイプライン並列が提案されてきたが，ロードインバランスによりアイドル時間が生じやすい．本研究では，パイプライン並列にデータ並列を組み合わせ，新規の学習スケジュールを提案することで負荷分散の問題を解消し，学習の高速化を目指すハイブリッドパイプライン並列フレームワークの作成を行った．},
 title = {負荷分散を改善したハイブリッドパイプライン並列深層学習手法},
 year = {2022}
}