WaitIO+MPI Hybridによる異種システム間でのAllreduceの高速化

• Item type: SIG Technical Reports(1)
• 公開日: 2024-09-23
• タイトル: WaitIO+MPI Hybridによる異種システム間でのAllreduceの高速化
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: スーパーコンピューティング環境
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 名古屋大学大学院情報学研究科
• 著者所属: 東京大学情報基盤センター
• 著者所属: 東京大学情報基盤センター／理化学研究所計算科学研究センター
• 著者所属: 名古屋大学情報基盤センター
• 著者所属: 九州大学情報基盤研究開発センター
• 著者所属: 名古屋大学情報基盤センター
• 著者所属: 名古屋大学情報基盤センター
• 著者所属: 名古屋大学情報基盤センター
• 著者名: 植野, 貴大; 住元, 真司; 中島, 研吾; 片桐, 孝洋; 大島, 聡史; 星野, 哲也; 河合, 直聡; 永井, 亨
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 近年，異種ワークロードを統合するためのヘテロジニアスシステムの活用が重要となっている．ヘテロジニアスシステム間での効率的な通信を実現するため，東京大学情報基盤センターは，異種システム間での通信をサポートする h3-Open-SYS/WaitIO を開発している．WaitIO には，既存の MPI プログラムからの移行を容易にするため，MPI-like なインターフェースとともに，WaitIO を用いた集団通信の実装が提供されている．しかし，WaitIO の集団通信はヘテロジニアスシステムを意識した実装になっておらず，通信性能に階層性があるシステムにおいては，通信性能の低いシステムがボトルネックとなる可能性がある．そこで本研究では，集団通信の中でも使用頻度が高い Allreduce に焦点を当て，WaitIO と MPI を組み合わせた階層型 Allreduce アルゴリズムの提案および性能評価を行った．名古屋大学のスーパーコンピュータ「不老」における評価から，WaitIO 単独の Allreduce 実装に比べて最大 27.7 倍の高速化を達成した．
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10463942
• 書誌情報: 研究報告ハイパフォーマンスコンピューティング（HPC）; 巻 2024-HPC-196, 号 5, p. 1-7, 発行日 2024-09-23
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8841
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会