| Item type |
SIG Technical Reports(1) |
| 公開日 |
2017-03-01 |
| タイトル |
|
|
タイトル |
ディープラーニングのデータ並列学習における少精度浮動小数点数を用いた通信量の削減 |
| 言語 |
|
|
言語 |
jpn |
| キーワード |
|
|
主題Scheme |
Other |
|
主題 |
演算精度 |
| 資源タイプ |
|
|
資源タイプ識別子 |
http://purl.org/coar/resource_type/c_18gh |
|
資源タイプ |
technical report |
| 著者所属 |
|
|
|
東京工業大学 |
| 著者所属 |
|
|
|
東京工業大学 |
| 著者所属 |
|
|
|
デンソーアイティーラボラトリ |
| 著者所属 |
|
|
|
東京工業大学 |
| 著者名 |
大山, 洋介
野村, 哲弘
佐藤, 育郎
松岡, 聡
|
| 論文抄録 |
|
|
内容記述タイプ |
Other |
|
内容記述 |
Deep Neural Network を用いた学習手法であるディープラーニングは他の機械学習手法と比較して高い認識精度を発揮することから近年非常に重要視されている．一方でディープラーニングはネットワークの計算量や学習に使用するデータ量が膨大であることから GPU クラスタを用いた場合でも学習に非常に長い時間を要する．また，特にパラメータ数が多いネットワークを一定のミニバッチサイズで学習する場合は勾配の GPU 間 ・ ノード間通信がスケーラビリティのボトルネックとなり，現存する GPU スパコンで利用可能な並列数よりもはるかに小さな規模でしか学習できないことが指摘されている．本論文では単精度よりも更に bit 数の少ない浮動小数点数型を用いた通信量の削減手法を提案する．提案手法では通信するデータを半精度浮動小数点数の上位 8bit により表現し，レイヤーごとに動的に表現範囲を調整することにより高速かつ単精度と比較して学習後の認識精度を大きく損なわない通信を実現する．提案手法は TSUBAME-KFC / DL の 2 ノード (16 GPU) を用いた CaffeNet と GoogLeNet の学習において，既存の単精度浮動小数点型を用いる場合と比較して認識精度を損なわずにそれぞれ 2.71 倍，2.19 倍の高速化を達成した． |
| 書誌レコードID |
|
|
収録物識別子タイプ |
NCID |
|
収録物識別子 |
AN10463942 |
| 書誌情報 |
研究報告ハイパフォーマンスコンピューティング（HPC）
巻 2017-HPC-158,
号 30,
p. 1-10,
発行日 2017-03-01
|
| ISSN |
|
|
収録物識別子タイプ |
ISSN |
|
収録物識別子 |
2188-8841 |
| Notice |
|
|
|
SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc. |
| 出版者 |
|
|
言語 |
ja |
|
出版者 |
情報処理学会 |
IPSJ-HPC17158030.pdf (2.4 MB)
