@techreport{oai:ipsj.ixsq.nii.ac.jp:00071470,
 author = {成瀬, 彰 and 中島, 耕太 and 住元, 真司 and 久門, 耕一 and Akira, Naruse and Kohta, Nakashima and Shinji, Sumimoto and Kouichi, Kumon},
 issue = {5},
 month = {Dec},
 note = {本稿では、Fat-tree 構成の InfiniBand(IB) ネットワークにおける全対全通信時の Hot-spot 発生を回避する手法を提案·評価する。Fat-tree 構成の IB ネットワークでは、適切に使用する計算ノードを選択しないと、Hot-spot 発生により実行通信バンド幅が低下する。本稿では、任意の計算ノード割当てにおいて、全対全通信時の Hot-spot 発生を回避する手法を提案する。提案手法は、各計算ノードに複数の LID(Local Identifier) を割り当てる手法の一種である。全対全通信時の典型的な通信パターンであるシフト通信パターンに着目し、各計算ノード対に生成されるコネクション毎に、使用 LID を適切に選択することで、Hot-spot 発生を回避する。提案手法を OpenMPI で実装し、6-ary-2-tree トポロジーの Fat-tree 構成IBネットワークに接続した 30 ノードの PC クラスタシステムで性能を評価した。任意 16 ノードによる全対全通信性能を測定した結果、提案手法により全対全通信時の Hot-spot 発生を完全に回避できることを確認した。, In this paper, we propose and evaluate a method to avoid a hot-spot occurrence on all-to-all communication in fat-tree based InfiniBand networks. An effective network bandwidth can degrade because of a hot-spot occurrence in fat-tree based networks, unless proper combination of nodes is assigned to a MPI job. Our proposed method utilizes LMC (LID Mask Control) feature of InfiniBand and assigns multiple LIDs (Local Identifier) to each HCA (Host Channel Adapter) in a compute node. Then, it selects the best LID to use for every source/destination pair to avoids a hot-spot occurrence in view of the characteristics of all-to-all communication pattern. The proposed method is designed and implemented into OpenMPI, and evaluated on real InfiniBand cluster system consists of 30 compute nodes and 6-ary-2-tree topology networks. All-to-all benchmarks show that our proposed method can avoid a hot-spot occurrence at any time even when arbitrary combination of 16-nodes is assigned to a MPI job.},
 title = {Fat-Tree構成InfiniBandネットワークにおける競合回避手法の提案},
 year = {2010}
}