MPI-IO/Gfarm：分散ファイルシステムGfarmのためのMPI-IOの実装と評価

• Item type: Journal(1)
• 公開日: 2011-12-15
• タイトル: MPI-IO/Gfarm：分散ファイルシステムGfarmのためのMPI-IOの実装と評価
• タイトル / 言語: en
• タイトル: MPI-IO/Gfarm: An Implementation and Evaluation of MPI-IO for the Gfarm File System
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: 特集：情報爆発時代におけるIT基盤技術
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_6501
• 資源タイプ: journal article
• 著者所属: 筑波大学大学院システム情報工学研究科／独立行政法人科学技術振興機構CREST
• 著者所属: 筑波大学大学院システム情報工学研究科／独立行政法人科学技術振興機構CREST
• 著者所属(英): en
• 著者所属(英): Graduate School of Systems and Information Engineering, University of Tsukuba / Japan Science and Technology Agency, CREST
• 著者所属(英): en
• 著者所属(英): Graduate School of Systems and Information Engineering, University of Tsukuba / Japan Science and Technology Agency, CREST
• 著者名: 木村, 浩希; 建部修見
• 著者名(英): Hiroki, Kimura; Osamu, Tatebe
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 本稿では，分散ファイルシステムGfarmのためのMPI-IO実装，MPI-IO/Gfarmについて述べる．Gfarmファイルシステムは広域にまたがる複数のクラスタ内の計算ノードのストレージをまとめ1つのネームスペースで管理することを可能にする．Gfarmファイルシステムは，計算ノードのローカルストレージの利用，ファイル複製の利用によりスケーラブルなファイルアクセス性能を実現している．しかし，MPI-IOにおける典型的なアクセスである複数のプロセスが単一のファイルに対して書き込みを行う場合においては，性能はスケールしない．本稿では以上の場合の性能改善を主な目的とし，最適化手法の提案と実装について述べる．性能評価では，IOR，HPIO，BTIOを用いた評価を行い，PVFS2，NFSとの比較を行った．提案手法を用いることでノード数に対してスケーラブルな結果が得られ，PVFS2との比較においても2倍から3倍程度MPI-IO/Gfarmが良い性能を示した．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: This paper proposes a design and implementation of an MPI-IO implementation of the Gfarm file system, called MPIO/Gfarm. The Gfarm file system is a global file system that federates the local storage of compute nodes among several clusters. It has a scale-out architecture designed to support distributed data-intensive computing. However Gfarm file system does not achieve scalable performance in the case of parallel writes to a single file, a typical file operation in MPI-IO. This paper proposes an optimization technique to improve the parallel write performance to a single file. In the evaluation using BT- IO, IOR and HPIO, MPI-IO/Gfarm achieves scalable parallel I/O performance. Compared with MPI-IO on PVFS2 and NFS, it achieves at most a 1.5x speedup of write performance and 2.0x to 3.0x speedup of read performance using seven storage nodes.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN00116647
• 書誌情報: 情報処理学会論文誌; 巻 52, 号 12, p. 3239-3250, 発行日 2011-12-15
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 1882-7764