@techreport{oai:ipsj.ixsq.nii.ac.jp:00174119,
 author = {大山, 洋介 and 野村, 哲弘 and 佐藤, 育郎 and 西村, 裕紀 and 玉津, 幸政 and 松岡, 聡},
 issue = {5},
 month = {Aug},
 note = {機械学習による画像認識において Convolutional Neural Network (CNN) と大規模なデータセットを用いた高い認識結果が報告されている．CNN の学習にはミニバッチ Stochastic Gradient Descent (SGD) と呼ばれる最適化手法が広く用いられるが，不適切なミニバッチサイズ下では認識性能が悪化することが知られている．SGD を高速化するために GPU での CNN の計算とパラメータの更新を非同期に行う非同期 SGD が提案されているが，ミニバッチサイズが動的に定まることからノード数等の学習条件の最適値は明らかではない．本論文では非同期 SGD で CNN の学習を行うシステム SPRINT の性能モデルを提案する．この性能モデルは CNN の構造とマシン性能・構成を入力とし，データセット全体を学習に使用する時間と平均ミニバッチサイズを予測する．TSUBAME-KFC/DL の 1～16 ノードを用いた評価では複数の CNN 構造について学習時間と平均ミニバッチサイズの平均予測誤差は 8%以下だった．また，2 つの異なるマシン上である平均ミニバッチサイズの範囲内で学習時間が最短となる学習条件を探索したところ，モデルが予測した順位は実測での順位と一致した．},
 title = {学習条件を考慮した大規模非同期ディープラーニングシステムの性能モデリング},
 year = {2016}
}