WEKO3
アイテム
深層学習における実行時ファイルステージング
https://ipsj.ixsq.nii.ac.jp/records/214212
https://ipsj.ixsq.nii.ac.jp/records/2142123187a211-f93c-434d-a259-bbaae28910ee
| 名前 / ファイル | ライセンス | アクション |
|---|---|---|
IPSJ-HPC21182007.pdf (1.1 MB)
|
Copyright (c) 2021 by the Information Processing Society of Japan
|
|
| オープンアクセス | ||
| Item type | SIG Technical Reports(1) | |||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 公開日 | 2021-11-29 | |||||||||||||
| タイトル | ||||||||||||||
| タイトル | 深層学習における実行時ファイルステージング | |||||||||||||
| 言語 | ||||||||||||||
| 言語 | jpn | |||||||||||||
| キーワード | ||||||||||||||
| 主題Scheme | Other | |||||||||||||
| 主題 | ML + HPC | |||||||||||||
| 資源タイプ | ||||||||||||||
| 資源タイプ識別子 | http://purl.org/coar/resource_type/c_18gh | |||||||||||||
| 資源タイプ | technical report | |||||||||||||
| 著者所属 | ||||||||||||||
| 電気通信大学 | ||||||||||||||
| 著者所属 | ||||||||||||||
| 電気通信大学 | ||||||||||||||
| 著者所属 | ||||||||||||||
| 電気通信大学 | ||||||||||||||
| 著者所属 | ||||||||||||||
| 電気通信大学 | ||||||||||||||
| 著者名 |
樋口, 遼太郎
× 樋口, 遼太郎
× 三輪, 忍
× 八巻, 隼人
× 本多, 弘樹
|
|||||||||||||
| 論文抄録 | ||||||||||||||
| 内容記述タイプ | Other | |||||||||||||
| 内容記述 | 外部ストレージを利用してファイル共有を行う高性能計算機システムにおいては，複数の計算ノードがファイルアクセスを行う際に外部ストレージに対する I/O 競合が発生し，ファイルアクセス性能が低下することがある．この問題を緩和する方法としてファイルステージングがあるが，従来のステージング手法は，深層学習アプリケーションのような全実行時間に占めるファイルアクセス時間の割合が大きいアプリケーションに対してあまり効果的でない．そこで本稿では，アプリケーション実行と並列にファイルステージングを行う手法を提案する．提案手法では深層学習アプリケーション内でステージング処理を呼び出し，学習処理と並列化することでステージング処理に要する時間を隠蔽する．TSUBAME3.0 と 3 種類の TensorFlow アプリケーションを用いて評価した結果，提案手法は従来手法に対して，I/O 競合時の実行時間を最大 30.8% 削減できていることが確認できた． | |||||||||||||
| 書誌レコードID | ||||||||||||||
| 収録物識別子タイプ | NCID | |||||||||||||
| 収録物識別子 | AN10463942 | |||||||||||||
| 書誌情報 |
研究報告ハイパフォーマンスコンピューティング（HPC） 巻 2021-HPC-182, 号 7, p. 1-8, 発行日 2021-11-29 |
|||||||||||||
| ISSN | ||||||||||||||
| 収録物識別子タイプ | ISSN | |||||||||||||
| 収録物識別子 | 2188-8841 | |||||||||||||
| Notice | ||||||||||||||
| SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc. | ||||||||||||||
| 出版者 | ||||||||||||||
| 言語 | ja | |||||||||||||
| 出版者 | 情報処理学会 | |||||||||||||
