WEKO3
アイテム
MPI-IO書き込みのパイプライン処理による高速化
https://ipsj.ixsq.nii.ac.jp/records/73049
https://ipsj.ixsq.nii.ac.jp/records/73049f5b44e68-cc39-4b4b-9b64-6509002f07ae
| 名前 / ファイル | ライセンス | アクション |
|---|---|---|
IPSJ-TACS0401007.pdf (982.7 kB)
|
Copyright (c) 2011 by the Information Processing Society of Japan
|
|
| オープンアクセス | ||
| Item type | Trans(1) | |||||||
|---|---|---|---|---|---|---|---|---|
| 公開日 | 2011-02-28 | |||||||
| タイトル | ||||||||
| タイトル | MPI-IO書き込みのパイプライン処理による高速化 | |||||||
| タイトル | ||||||||
| 言語 | en | |||||||
| タイトル | Pipeline Optimization of MPI-IO Write | |||||||
| 言語 | ||||||||
| 言語 | jpn | |||||||
| キーワード | ||||||||
| 主題Scheme | Other | |||||||
| 主題 | クラスタシステム | |||||||
| 資源タイプ | ||||||||
| 資源タイプ識別子 | http://purl.org/coar/resource_type/c_6501 | |||||||
| 資源タイプ | journal article | |||||||
| 著者所属 | ||||||||
| 東京大学／現在，理研情報科学研究機構 | ||||||||
| 著者所属 | ||||||||
| 東京大学／現在，Preferred Infrastructure, Inc. | ||||||||
| 著者所属 | ||||||||
| 日立製作所 | ||||||||
| 著者所属 | ||||||||
| 東京大学 | ||||||||
| 著者所属 | ||||||||
| 東京大学／現在，日立製作所 | ||||||||
| 著者所属 | ||||||||
| 富士通研究所 | ||||||||
| 著者所属 | ||||||||
| 東京大学 | ||||||||
| 著者所属(英) | ||||||||
| en | ||||||||
| The University of Tokyo / Presently with Riken AICS | ||||||||
| 著者所属(英) | ||||||||
| en | ||||||||
| The University of Tokyo / Presently with Preferred Infrastructure, Inc. | ||||||||
| 著者所属(英) | ||||||||
| en | ||||||||
| Hitachi, Ltd. | ||||||||
| 著者所属(英) | ||||||||
| en | ||||||||
| The University of Tokyo | ||||||||
| 著者所属(英) | ||||||||
| en | ||||||||
| The University of Tokyo / Presently with Hitachi, Ltd. | ||||||||
| 著者所属(英) | ||||||||
| en | ||||||||
| Fujitsu Laboratories, Ltd. | ||||||||
| 著者所属(英) | ||||||||
| en | ||||||||
| The University of Tokyo | ||||||||
| 著者名 |
堀, 敦史
× 堀, 敦史
|
|||||||
| 著者名(英) |
Atsushi, Hori
× Atsushi, Hori
|
|||||||
| 論文抄録 | ||||||||
| 内容記述タイプ | Other | |||||||
| 内容記述 | 並列プログラムのファイルアクセスは基本的にファイルに対する不連続なアクセスとなり，逐次プログラムのファイルアクセスに比べ性能が低下する場合がある．本稿では，並列ファイルへの書き込みにおいてファイルサーバとユーザプロセス間の通信トポロジをリングとし，リングに沿ったパイプライン処理により性能を向上させる技法を提案する．提案された技法は MPI-IO の ROMIO ADIO デバイスとして実装され，MPI-IO ベンチマークプログラムを用いて代表的な並列ファイルシステム PVFS2 および Lustre と性能を比較する．その結果，単純なアクセスパターンではハードウェア資源量の多い並列ファイルシステムの方が有利である一方，複雑なアクセスパターンでは本稿で提案する技法がより良い性能を発揮することを示す．提案する技法は，単一のファイルサーバを用いているが，複数のファイルサーバを用いる並列ファイルシステムの性能を上回り，より費用対効果が高い．本稿での提案は，パイプライン処理による並列ファイル書き込みの高速化という点でユニークと考える． | |||||||
| 論文抄録(英) | ||||||||
| 内容記述タイプ | Other | |||||||
| 内容記述 | The file access pattern of a parallel file is usually a large set of non-contiguous access, and therefore the access speed of a parallel file degrades much worse than that of sequential access to a sequential file. In this paper, it is proposed to access a parallel file in a pipelined way along with a ring communication topology to improve the access speed of a file. The proposed technique is implemented as a ROMIO ADIO device of MPI-IO, evaluated with MPI-IO benchmark programs, and compared with the PVFS2 and Lustre parallel file systems. The evaluation results show that the parallel file systems having richer hardware resources exhibit better performance when the file access patterns are coarse and simple, however, the proposed technique having less hardware resources exhibits better performance when the access patterns are fine and complex. Thus the proposed technique is tought to have higher cost-performance. The proposed pipeline technique utilizing a ring topology is new and unique. | |||||||
| 書誌レコードID | ||||||||
| 収録物識別子タイプ | NCID | |||||||
| 収録物識別子 | AA11833852 | |||||||
| 書誌情報 |
情報処理学会論文誌コンピューティングシステム（ACS） 巻 4, 号 1, p. 83-94, 発行日 2011-02-28 |
|||||||
| ISSN | ||||||||
| 収録物識別子タイプ | ISSN | |||||||
| 収録物識別子 | 1882-7829 | |||||||
| 出版者 | ||||||||
| 言語 | ja | |||||||
| 出版者 | 情報処理学会 | |||||||
