| Item type |
SIG Technical Reports(1) |
| 公開日 |
2018-02-21 |
| タイトル |
|
|
タイトル |
AIクラウドでの深層学習ワークロード解析を通じたジョブスケジューリング改善に向けた考察 |
| 言語 |
|
|
言語 |
jpn |
| キーワード |
|
|
主題Scheme |
Other |
|
主題 |
機械学習 |
| 資源タイプ |
|
|
資源タイプ識別子 |
http://purl.org/coar/resource_type/c_18gh |
|
資源タイプ |
technical report |
| 著者所属 |
|
|
|
産総研・東工大実社会ビッグデータ活用オープンイノベーションラボラトリ，RWBC-OIL |
| 著者所属 |
|
|
|
産総研・東工大実社会ビッグデータ活用オープンイノベーションラボラトリ，RWBC-OIL |
| 著者所属 |
|
|
|
産総研・東工大実社会ビッグデータ活用オープンイノベーションラボラトリ，RWBC-OIL |
| 著者所属 |
|
|
|
産総研・東工大実社会ビッグデータ活用オープンイノベーションラボラトリ，RWBC-OIL |
| 著者所属 |
|
|
|
産総研・東工大実社会ビッグデータ活用オープンイノベーションラボラトリ，RWBC-OIL |
| 著者名 |
滝澤, 真一朗
佐藤, 仁
高野, 了成
谷村, 勇輔
小川, 宏高
|
| 論文抄録 |
|
|
内容記述タイプ |
Other |
|
内容記述 |
深層学習ワークロードを実行する処理基盤として，GPU クラスタの利用が進んでいる．しかし，深層学習プログラムは少ない資源を長時間占有利用すること，学習時間の事前予測が困難であることなど，大規模並列処理を行う，従来の科学技術計算ワークロードとは異なる傾向を持つ．我々は深層学習ワークロード処理専用に構築された GPU クラスタ上で，5 ヶ月間に実行されたワークロードを解析した．その結果，95% を超えるジョブが Single GPU による深層学習であること，ジョブスケジューラへのジョブ投入時に指定する実行時間見積と実際の実行時間に大きな差があることが確認できた．現状では問題は顕在化しないが，今後分散深層学習が普及するにつれ，実行時間見積と実実行時間に差があるままでは資源利用率の低下が予想されるため，将来の運用課題として解決していく． |
| 書誌レコードID |
|
|
収録物識別子タイプ |
NCID |
|
収録物識別子 |
AN10463942 |
| 書誌情報 |
研究報告ハイパフォーマンスコンピューティング（HPC）
巻 2018-HPC-163,
号 15,
p. 1-7,
発行日 2018-02-21
|
| ISSN |
|
|
収録物識別子タイプ |
ISSN |
|
収録物識別子 |
2188-8841 |
| Notice |
|
|
|
SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc. |
| 出版者 |
|
|
言語 |
ja |
|
出版者 |
情報処理学会 |
IPSJ-HPC18163015.pdf (985.7 kB)
