直接結合網におけるIn-Network AggregationによるAllreduceの高速化

• Item type: SIG Technical Reports(1)
• 公開日: 2024-08-01
• タイトル: 直接結合網におけるIn-Network AggregationによるAllreduceの高速化
• タイトル / 言語: en
• タイトル: Accelerating Allreduce using In-Network Aggregation on Direct-connect Networks
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: 通信
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: NTT Software Innovation Center
• 著者所属: NTT Software Innovation Center
• 著者所属: NTT Software Innovation Center／現在， NTT Innovative Devices Corporation
• 著者所属: NTT Software Innovation Center
• 著者所属: NTT Software Innovation Center
• 著者所属(英): en
• 著者所属(英): NTT Software Innovation Center
• 著者所属(英): en
• 著者所属(英): NTT Software Innovation Center
• 著者所属(英): en
• 著者所属(英): NTT Software Innovation Center / NTT Innovative Devices Corporation
• 著者所属(英): en
• 著者所属(英): NTT Software Innovation Center
• 著者所属(英): en
• 著者所属(英): NTT Software Innovation Center
• 著者名: 立岩, 斉明; 森田, 和孝; 石田, 渉; 村中, 勇介; 西潟, 愛美
• 著者名(英): Nariaki, Tateiwa; Kazutaka, Morita; Wataru, Ishida; Yusuke, Muranaka; Manami, Nishikata
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: Allreduce 集団通信は多くの分散アプリケーションの性能を決定づける重要な通信モデルであり，その高速化はアルゴリズムとインフラの両面から研究されてきた．In-Network Aggregation (INA) は演算機能を持つネットワークデバイス（集約デバイス）に集約計算をオフロードする技術であり，INA を用いた allreduce プロトコルは従来のプロトコルと比較してデータ転送時間を最大半減できる．しかし従来の INA 技術は間接結合網を前提としており，これをデータセンタや機械学習インフラで近年採用されている再構成可能な直接結合網に適用するには，場合によってはワーカー数の数倍にも及ぶ，非常に多くの集約デバイスが必要となる．このことは大規模な分散ジョブへの INA 適用を妨げる要因となる．本稿では再構成可能な直接結合網において使用可能な集約デバイス数が少ない状況であっても allreduce のデータ転送時間を削減するプロトコルの構築手法を提案する．我々の手法により，従来のプロトコルよりもより少ない集約デバイスでより小さい allreduce のデータ転送時間を持つプロトコルを構築できることを数値実験で示す．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: Allreduce collective communication is a crucial communication model that determines the performance of many distributed applications. Allreduce acceleration has been studied from both algorithmic and infrastructure perspectives. In-network aggregation (INA) is a technology that offloads aggregation to network devices (aggregation devices). The allreduce protocol using INA can reduce data transfer time by up to half compared to conventional protocols. Most current INA techniques use an aggregation tree approach in the premise of indirect-connect networks. To apply INA to the reconfigurable direct-connect networks adopted in data centers and machine learning infrastructure in recent years, many aggregation devices, sometimes several times the number of workers, are required. This prevents the application of INA to large-scale distributed jobs. In this paper, we propose a method for constructing a protocol that reduces the data transfer time of allreduce even in situations where we have few available aggregation devices. Our evaluation has found that it is possible to construct a protocol with a smaller allreduce data transfer time using fewer aggregation devices than with conventional protocols.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10463942
• 書誌情報: 研究報告ハイパフォーマンスコンピューティング（HPC）; 巻 2024-HPC-195, 号 31, p. 1-12, 発行日 2024-08-01
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8841
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会