GPUクラスタを用いて並列化した自動チューニングの機械学習プログラムへの適用と安定性の検証

• Item type: SIG Technical Reports(1)
• 公開日: 2021-03-08
• タイトル: GPUクラスタを用いて並列化した自動チューニングの機械学習プログラムへの適用と安定性の検証
• タイトル / 言語: en
• タイトル: Application and Stability Verification of Parallelized Automatic Tuning to Machine Learning Programs on GPU Cluster
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: HPCアプリケーション
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 工学院大学
• 著者所属: 工学院大学
• 著者所属: 工学院大学
• 著者所属: 工学院大学
• 著者所属: 東京女子大学
• 著者所属: 名古屋大学
• 著者所属: 名古屋大学
• 著者所属(英): en
• 著者所属(英): Kogakuin University
• 著者所属(英): en
• 著者所属(英): Kogakuin University
• 著者所属(英): en
• 著者所属(英): Kogakuin University
• 著者所属(英): en
• 著者所属(英): Kogakuin University
• 著者所属(英): en
• 著者所属(英): Tokyo Woman's Christian University
• 著者所属(英): en
• 著者所属(英): Nagoya University
• 著者所属(英): en
• 著者所属(英): Nagoya University
• 著者名: 藤家, 空太郎; 多部田, 敏樹; 藤井, 昭宏; 田中, 輝雄; 加藤, 由花; 大島, 聡史; 片桐, 孝洋
• 著者名(英): Sorataro, Fujika; Toshiki, Tabeta; Akihiro, Fujii; Teruo, Tanaka; Yuka, Kato; Satoshi, Ohshima; Takahiro, Katagiri
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 我々は反復一次元探索を用いた自動チューニングによる複数パラメータ同時推定の研究に取り組んでおり，今回それを機械学習プログラムに適用した．機械学習プログラムは測定ごとに訓練データが変わり，同じハイパーパラメータで複数回実行しても結果にばらつきがある．本報告は歩行者経路予測の機械学習プログラムに適用した自動チューニングを GPU クラスタで並列化することで，逐次実行で約 11 日かかる推定が約 12 時間で完了することを示す．また，推定したハイパーパラメータを同じ GPU クラスタで複数回同時に測定した結果の平均と分布から，推定したハイパーパラメータが現在経験則で良いとされ使われているパラメータと比較して優位性があり，反復一次元探索を用いた自動チューニングが結果にばらつきのあるプログラムでも安定して推定が行えていることを示す．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: We are working on the study of simultaneous estimation of multiple parameters by automatic tuning using iterative one-dimensional search, and this time we applied it to a machine learning program. In the machine learning program, the training data changes for each measurement, and the results vary even if the same hyperparameters are measured multiple times. This report shows that by parallelizing the automatic tuning applied to the machine learning program for pedestrian route prediction in a GPU cluster, the estimation that takes about 11 days for sequential execution can be completed in about 12 hours. In addition, from the average and distribution of the estimated hyperparameters measured multiple times in the same GPU cluster at the same time, it can be seen that the estimated hyperparameters are superior to the hyperparameters currently used according to the rule of thumb. From the above, it is shown that automatic tuning using iterative one-dimensional search enables stable estimation even in programs with varying results.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10463942
• 書誌情報: 研究報告ハイパフォーマンスコンピューティング（HPC）; 巻 2021-HPC-178, 号 16, p. 1-8, 発行日 2021-03-08
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8841
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会