@techreport{oai:ipsj.ixsq.nii.ac.jp:00177935,
 author = {大山, 洋介 and 野村, 哲弘 and 佐藤, 育郎 and 松岡, 聡},
 issue = {30},
 month = {Mar},
 note = {Deep Neural Network を用いた学習手法であるディープラーニングは他の機械学習手法と比較して高い認識精度を発揮することから近年非常に重要視されている．一方でディープラーニングはネットワークの計算量や学習に使用するデータ量が膨大であることから GPU クラスタを用いた場合でも学習に非常に長い時間を要する．また，特にパラメータ数が多いネットワークを一定のミニバッチサイズで学習する場合は勾配の GPU 間 ・ ノード間通信がスケーラビリティのボトルネックとなり，現存する GPU スパコンで利用可能な並列数よりもはるかに小さな規模でしか学習できないことが指摘されている．本論文では単精度よりも更に bit 数の少ない浮動小数点数型を用いた通信量の削減手法を提案する．提案手法では通信するデータを半精度浮動小数点数の上位 8bit により表現し，レイヤーごとに動的に表現範囲を調整することにより高速かつ単精度と比較して学習後の認識精度を大きく損なわない通信を実現する．提案手法は TSUBAME-KFC / DL の 2 ノード (16 GPU) を用いた CaffeNet と GoogLeNet の学習において，既存の単精度浮動小数点型を用いる場合と比較して認識精度を損なわずにそれぞれ 2.71 倍，2.19 倍の高速化を達成した．},
 title = {ディープラーニングのデータ並列学習における少精度浮動小数点数を用いた通信量の削減},
 year = {2017}
}