WEKO3
アイテム
並列ジョブのファイルI/Oをひとつのファイルに集約する方式の提案と予備評価
https://ipsj.ixsq.nii.ac.jp/records/79335
https://ipsj.ixsq.nii.ac.jp/records/79335b4588e1e-c1ab-4c99-900e-0f6ba75df1d2
| 名前 / ファイル | ライセンス | アクション |
|---|---|---|
IPSJ-HPC11132034.pdf (964.9 kB)
|
Copyright (c) 2011 by the Information Processing Society of Japan
|
|
| オープンアクセス | ||
| Item type | SIG Technical Reports(1) | |||||||
|---|---|---|---|---|---|---|---|---|
| 公開日 | 2011-11-21 | |||||||
| タイトル | ||||||||
| タイトル | 並列ジョブのファイルI/Oをひとつのファイルに集約する方式の提案と予備評価 | |||||||
| タイトル | ||||||||
| 言語 | en | |||||||
| タイトル | Proposal and preliminary evaluation of a mechanism for file I/O aggration to one file in a parallel job | |||||||
| 言語 | ||||||||
| 言語 | jpn | |||||||
| キーワード | ||||||||
| 主題Scheme | Other | |||||||
| 主題 | 並列I/O | |||||||
| 資源タイプ | ||||||||
| 資源タイプ識別子 | http://purl.org/coar/resource_type/c_18gh | |||||||
| 資源タイプ | technical report | |||||||
| 著者所属 | ||||||||
| 理化学研究所計算科学研究機構 | ||||||||
| 著者所属 | ||||||||
| 理化学研究所計算科学研究機構 | ||||||||
| 著者所属 | ||||||||
| 理化学研究所計算科学研究機構／東京大学 | ||||||||
| 著者所属(英) | ||||||||
| en | ||||||||
| RIKEN Advanced Institure for Computational Science | ||||||||
| 著者所属(英) | ||||||||
| en | ||||||||
| RIKEN Advanced Institure for Computational Science | ||||||||
| 著者所属(英) | ||||||||
| en | ||||||||
| RIKEN Advanced Institure for Computational Science / The University of Tokyo | ||||||||
| 著者名 |
大野, 善之
× 大野, 善之
|
|||||||
| 著者名(英) |
Yoshiyuki, Ohno
× Yoshiyuki, Ohno
|
|||||||
| 論文抄録 | ||||||||
| 内容記述タイプ | Other | |||||||
| 内容記述 | 並列ジョブにおける多数ファイルに対する I/O をひとつのファイルに対する I/O に集約することによりファイル I/O を高速化する方式を提案する．各プロセスごとにファイルを作成し，データを書き出すというファイル I/O パターンをとるアプリケーションが多くある．しかし，現在普及している並列ファイルシステムは，少数の大きなデータ I/O で高い性能がでるように設計されており，プロセスごとにファイルを作成するという I/O パターンでは高い性能がでない．そこで，並列ジョブにおけるファイル I/O をひとつのファイルに集約し，少数の大きなデータ I/O にする方式を提案する．Lustre 上で予備評価を行った結果，並列プロセスがそれぞれ 1MB のファイルを 128 個 I/O する場合，2-3 倍の性能向上を確認した． | |||||||
| 論文抄録(英) | ||||||||
| 内容記述タイプ | Other | |||||||
| 内容記述 | In many parallel applications, each process creates process independent files. However, many existing parallel file systems are designed for large data I/O operations on a few files, and exhibit low performance for small data I/O operations while accessing lots of files. In our proposed approach, small file I/O operations are aggregated to have large I/O operations and converted to access one large file. Preliminary evaluation using Lustre shows that the parallel write/read of 1MB x128files per each process is 2-3 times faster than the original I/O. | |||||||
| 書誌レコードID | ||||||||
| 収録物識別子タイプ | NCID | |||||||
| 収録物識別子 | AN10463942 | |||||||
| 書誌情報 |
研究報告ハイパフォーマンスコンピューティング（HPC） 巻 2011-HPC-132, 号 34, p. 1-6, 発行日 2011-11-21 |
|||||||
| Notice | ||||||||
| SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc. | ||||||||
| 出版者 | ||||||||
| 言語 | ja | |||||||
| 出版者 | 情報処理学会 | |||||||
