2026-04-13T12:21:54Z https://ipsj.ixsq.nii.ac.jp/oai

oai:ipsj.ixsq.nii.ac.jp:00082203 2025-01-21T19:07:22Z 6164:6165:6426:6780

「京」のためのMPI通信機構の設計 The Design of MPI Communication Facility for K computer 住元, 真司 川島, 崇裕 志田, 直之 岡本, 高幸 三浦, 健一 宇野, 篤也 黒川, 原佳 庄司, 文由 横川, 三津夫 Shinji, Sumimoto Takahiro, Kawashima Naoyuki, Shida Takayuki, Okamoto Kenichi, Miura Atsuya, Uno Motoyoshi, Kurokawa Fumiyoshi, Shouji Mitsuo, Yokokawa HPCシステム 本論文では82,944ノードの「京」上で使用メモリ量を極小化しながらMPI通信性能を高める通信機構の設計について述べる。「京」が採用したTofuインタコネクトは数十万ノードクラスのシステムで高い性能と耐故障性を実現するため直接網である6次元トーラス・メッシュ網を採用している。しかし、超大規模の直接網システムでは、通信ホップ数増加とネットワーク網でのメッセージ衝突による通信遅延の増加による通信性能の低下、ならびに、ノード数に比例して必要な使用メモリ量の増加が課題となる。この課題を解決するため、RDMA通信を主体とし、通信バッファが必要な通信は隣接通信などよく利用される通信経路に絞る、遅延が大きな場合は省メモリ性を重視する通信方式やアルゴリズムを採用している。これらの設計により、「京」のMPIライブラリにおいては、使用メモリを抑制しながら、MPI通信遅延1.27us，MPIバンド幅4.7GB/sを達成している。集団通信においても9,216ノードのMPI Bcastで10.6GB/sと高い通信性能を実現している。 This paper describes the design of high performance MPI communication which enables high performance communication with minimized memory usage on the 82,944 node K computer. The Tofu interconnect of K computer uses six dimension torus/mesh direct topology for realizing higher performance and availability on hundreds thousand node system. However, in such a ultra scale system, communication performance degradation by increasing hops and network congestion and much memory consumption with increasing number of nodes are still problems to solve. To solve the problems, MPI communication facility of the K computer uses RDMA based communication and buffer allocation policy that limits buffer based communication to neighbor communication and the other uses less-memory usage communication method. As a result of these designs, MPI communication facility of the K computer realizes 1.27us MPI communication latency and 4.7GB/s MPI communication bandwidth with less memory usage, and a collective communication of MPI Bcast achieves 10.6GB/s on 9,216 node K computer. 情報処理学会 2012-05-09 jpn conference paper https://ipsj.ixsq.nii.ac.jp/records/82203 先進的計算基盤システムシンポジウム論文集 2012 237 244 https://ipsj.ixsq.nii.ac.jp/record/82203/files/IPSJ-SACSIS2012062.pdf application/pdf 1.2 MB 2014-05-09