@techreport{oai:ipsj.ixsq.nii.ac.jp:00233152,
 author = {中村, 秋海 and 佐治, 隆行 and 大川, 靖 and 似鳥, 啓吾 and 黒田, 明義 and 横田, 理央},
 issue = {10},
 month = {Mar},
 note = {近年の深層学習モデルの大規模化に伴い，大規模モデルの学習では，複数の計算ノードにモデルを分散して配置し，ノード間で大量の集団通信を行うことで並列学習を実現している．ノード間集団通信において，深層学習に用いられる代表的な通信パターンである all-reduce に注目し，富岳の 6 次元メッシュ/トーラス直接網を利用して隣接通信に限定する双方向リングアルゴリズムの開発をすることで，富岳上の all-reduce 通信の高速化を行った．また，大規模言語モデルの学習コードの all-reduce を部分的に本研究で開発したものに置き換え，実際に深層学習モデルにおいて速度の計測を行った．},
 title = {富岳上の大規模機械学習におけるAll-reduce通信の高速化},
 year = {2024}
}