2026-03-11T22:35:33Z https://ipsj.ixsq.nii.ac.jp/oai

oai:ipsj.ixsq.nii.ac.jp:00204975 2025-06-05T06:25:03Z 6504 6504:10247 6504:10247:10257

分散深層学習を高速化させるFPGA Ring-Allreduceの検討 田仲, 顕至 有川, 勇輝 伊藤, 猛 寺田, 和彦 森田, 和孝 三浦, 史光 寺本, 純司 坂本, 健 コンピュータシステム 分散深層学習を短時間に実行するために、各計算機ノードの集団通信をRing-Allreduceで実行する先行事例がある。ただし従来例では、データがGPUまたはCPUに移動するため遅延が発生してしまう。我々は、Ring-Allreduceを実行するFPGA NICを提案する。加えて、通信のオーバーヘッドを最小限に抑えるために、GPU計算時間と通信時間をオーバーラップさせるアルゴリズムの提案、さらに、既存と深層学習フレームワークと異種デバイス制御言語から構成される生産性の高いソフトウェアスタックを提案する。評価結果として、32のバッチサイズで精度を低下させることなく通信オーバーヘッドを84.27％削減できることを確認した。また、4ノード学習システムを使用すると、合計学習時間の7％短縮を実現した。 情報処理学会 2020-02-20 jpn conference paper https://ipsj.ixsq.nii.ac.jp/records/204975 AN00349328 第82回全国大会講演論文集 2020 1 31 32 https://ipsj.ixsq.nii.ac.jp/record/204975/files/IPSJ-Z82-7A-01.pdf application/pdf 567.0 kB 2020-06-19