WEKO3
アイテム
深層ニューラルネットワークにおける訓練高速化のための自動最適化
https://ipsj.ixsq.nii.ac.jp/records/194796
https://ipsj.ixsq.nii.ac.jp/records/194796c9608eee-e63f-4056-8ffd-1af880aed5c9
| 名前 / ファイル | ライセンス | アクション |
|---|---|---|
IPSJ-HPC19168025.pdf (1.6 MB)
|
Copyright (c) 2019 by the Information Processing Society of Japan
|
|
| オープンアクセス | ||
| Item type | SIG Technical Reports(1) | |||||||||
|---|---|---|---|---|---|---|---|---|---|---|
| 公開日 | 2019-02-26 | |||||||||
| タイトル | ||||||||||
| タイトル | 深層ニューラルネットワークにおける訓練高速化のための自動最適化 | |||||||||
| 言語 | ||||||||||
| 言語 | jpn | |||||||||
| キーワード | ||||||||||
| 主題Scheme | Other | |||||||||
| 主題 | 機械学習 | |||||||||
| 資源タイプ | ||||||||||
| 資源タイプ識別子 | http://purl.org/coar/resource_type/c_18gh | |||||||||
| 資源タイプ | technical report | |||||||||
| 著者所属 | ||||||||||
| 筑波大学大学院システム情報工学研究科コンピュータサイエンス専攻 | ||||||||||
| 著者所属 | ||||||||||
| 筑波大学計算科学研究センター | ||||||||||
| 著者名 |
芹沢, 和洋
× 芹沢, 和洋
× 建部, 修見
|
|||||||||
| 論文抄録 | ||||||||||
| 内容記述タイプ | Other | |||||||||
| 内容記述 | 深層ニューラルネットワークの訓練には大量のデータが必要となり，訓練処理時間の長期化が問題となっている．訓練時間の短縮方法として，複数の訓練データを用いて訓練処理を行うミニバッチ訓練という手法が知られている．本研究では，訓練処理時間と関連性が考えられる，訓練処理中の GPU 利用率を最大化するという最適化手法を用いて．訓練処理時間を可能な限り最短にすることができるミニバッチサイズを決定する方法を提案した．提案手法を深層学習フレームワークである Chainer を用いて実装した．Cifar 100 と ImageNet の 2 種類の画像データセットおよび VGG 16 と ResNet 50 の 2 種類の畳み込みニューラルネットワークを用いて提案手法の評価を行った結果，GPU 利用率のみを最大化するアプローチでは訓練処理速度を最短とするミニバッチサイズを決定することは困難であるという結論となった．一方で，データセットごとに訓練処理中の GPU 利用率とミニバッチサイズとの間の相関性に異なる傾向が観察され，データサイズに起因するボトルネックが GPU 利用を阻害している可能性が発見された． | |||||||||
| 書誌レコードID | ||||||||||
| 収録物識別子タイプ | NCID | |||||||||
| 収録物識別子 | AN10463942 | |||||||||
| 書誌情報 |
研究報告ハイパフォーマンスコンピューティング（HPC） 巻 2019-HPC-168, 号 25, p. 1-10, 発行日 2019-02-26 |
|||||||||
| ISSN | ||||||||||
| 収録物識別子タイプ | ISSN | |||||||||
| 収録物識別子 | 2188-8841 | |||||||||
| Notice | ||||||||||
| SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc. | ||||||||||
| 出版者 | ||||||||||
| 言語 | ja | |||||||||
| 出版者 | 情報処理学会 | |||||||||
