WEKO3
アイテム
AI・ビッグデータ処理におけるオブジェクトストレージを用いたデータステージングの評価
https://ipsj.ixsq.nii.ac.jp/records/192839
https://ipsj.ixsq.nii.ac.jp/records/192839f152ca8a-5522-4f8e-b9eb-feccec30505b
| 名前 / ファイル | ライセンス | アクション |
|---|---|---|
IPSJ-HPC18167014.pdf (420.0 kB)
|
Copyright (c) 2018 by the Information Processing Society of Japan
|
|
| オープンアクセス | ||
| Item type | SIG Technical Reports(1) | |||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 公開日 | 2018-12-10 | |||||||||||||
| タイトル | ||||||||||||||
| タイトル | AI・ビッグデータ処理におけるオブジェクトストレージを用いたデータステージングの評価 | |||||||||||||
| 言語 | ||||||||||||||
| 言語 | jpn | |||||||||||||
| キーワード | ||||||||||||||
| 主題Scheme | Other | |||||||||||||
| 主題 | 性能評価 | |||||||||||||
| 資源タイプ | ||||||||||||||
| 資源タイプ識別子 | http://purl.org/coar/resource_type/c_18gh | |||||||||||||
| 資源タイプ | technical report | |||||||||||||
| 著者所属 | ||||||||||||||
| 国立研究開発法人産業技術総合研究所 | ||||||||||||||
| 著者所属 | ||||||||||||||
| 国立研究開発法人産業技術総合研究所 | ||||||||||||||
| 著者所属 | ||||||||||||||
| 国立研究開発法人産業技術総合研究所 | ||||||||||||||
| 著者所属 | ||||||||||||||
| 国立研究開発法人産業技術総合研究所 | ||||||||||||||
| 著者名 |
谷村, 勇輔
× 谷村, 勇輔
× 遊佐, 佳一
× 高野, 了成
× 浜西, 貴宏
|
|||||||||||||
| 論文抄録 | ||||||||||||||
| 内容記述タイプ | Other | |||||||||||||
| 内容記述 | 大規模な HPC システムにおいて，計算ノード内のメモリやディスクにファイルを保持して高速に処理を行うためには，計算ノード群とシステム全体から利用できる共有ストレージとの間のデータステージングが必要である．しかし，近年は共有ストレージに直接アクセスするのではなく，I / O のバッファリングやフォワーディング手法と組み合わせたステージング技術の研究が進んでいる．また，共有ストレージの大規模化傾向により，POSIX に準拠したファイルシステムでなく，Amazon S3 互換のインタフェースを持つオブジェクトストレージに注目が集まっている．本稿では，AI ・ ビッグデータ処理，HPC が融合した計算環境において，S3 互換のオブジェクトストレージの可能性と効果的に利用するための手法を明らかにすることを目指し，S3 を用いたデータステージングの性能や課題について調査した結果を報告する． | |||||||||||||
| 書誌レコードID | ||||||||||||||
| 収録物識別子タイプ | NCID | |||||||||||||
| 収録物識別子 | AN10463942 | |||||||||||||
| 書誌情報 |
研究報告ハイパフォーマンスコンピューティング（HPC） 巻 2018-HPC-167, 号 14, p. 1-7, 発行日 2018-12-10 |
|||||||||||||
| ISSN | ||||||||||||||
| 収録物識別子タイプ | ISSN | |||||||||||||
| 収録物識別子 | 2188-8841 | |||||||||||||
| Notice | ||||||||||||||
| SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc. | ||||||||||||||
| 出版者 | ||||||||||||||
| 言語 | ja | |||||||||||||
| 出版者 | 情報処理学会 | |||||||||||||
