学習条件を考慮した大規模非同期ディープラーニングシステムの性能モデリング

• Item type: SIG Technical Reports(1)
• 公開日: 2016-08-01
• タイトル: 学習条件を考慮した大規模非同期ディープラーニングシステムの性能モデリング
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: 機械学習
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 東京工業大学
• 著者所属: 東京工業大学
• 著者所属: デンソーアイティーラボラトリ
• 著者所属: 株式会社デンソー
• 著者所属: 株式会社デンソー
• 著者所属: 東京工業大学
• 著者名: 大山, 洋介; 野村, 哲弘; 佐藤, 育郎; 西村, 裕紀; 玉津, 幸政; 松岡, 聡
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 機械学習による画像認識において Convolutional Neural Network (CNN) と大規模なデータセットを用いた高い認識結果が報告されている．CNN の学習にはミニバッチ Stochastic Gradient Descent (SGD) と呼ばれる最適化手法が広く用いられるが，不適切なミニバッチサイズ下では認識性能が悪化することが知られている．SGD を高速化するために GPU での CNN の計算とパラメータの更新を非同期に行う非同期 SGD が提案されているが，ミニバッチサイズが動的に定まることからノード数等の学習条件の最適値は明らかではない．本論文では非同期 SGD で CNN の学習を行うシステム SPRINT の性能モデルを提案する．この性能モデルは CNN の構造とマシン性能・構成を入力とし，データセット全体を学習に使用する時間と平均ミニバッチサイズを予測する．TSUBAME-KFC/DL の 1～16 ノードを用いた評価では複数の CNN 構造について学習時間と平均ミニバッチサイズの平均予測誤差は 8%以下だった．また，2 つの異なるマシン上である平均ミニバッチサイズの範囲内で学習時間が最短となる学習条件を探索したところ，モデルが予測した順位は実測での順位と一致した．
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10463942
• 書誌情報: 研究報告ハイパフォーマンスコンピューティング（HPC）; 巻 2016-HPC-155, 号 5, p. 1-9, 発行日 2016-08-01
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8841
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会