WEKO3
アイテム
深層学習におけるBatchNormalization使用時の計算時間と精度の関係性
https://ipsj.ixsq.nii.ac.jp/records/190642
https://ipsj.ixsq.nii.ac.jp/records/190642b107ea87-f318-4e87-bcda-72286f8bd9a9
| 名前 / ファイル | ライセンス | アクション |
|---|---|---|
IPSJ-HPC18165001.pdf (498.6 kB)
|
Copyright (c) 2018 by the Information Processing Society of Japan
|
|
| オープンアクセス | ||
| Item type | SIG Technical Reports(1) | |||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 公開日 | 2018-07-23 | |||||||||||
| タイトル | ||||||||||||
| タイトル | 深層学習におけるBatchNormalization使用時の計算時間と精度の関係性 | |||||||||||
| 言語 | ||||||||||||
| 言語 | jpn | |||||||||||
| キーワード | ||||||||||||
| 主題Scheme | Other | |||||||||||
| 主題 | 機械学習 | |||||||||||
| 資源タイプ | ||||||||||||
| 資源タイプ識別子 | http://purl.org/coar/resource_type/c_18gh | |||||||||||
| 資源タイプ | technical report | |||||||||||
| 著者所属 | ||||||||||||
| 東京工業大学情報理工学院数理・計算科学系 | ||||||||||||
| 著者所属 | ||||||||||||
| 東京工業大学情報理工学院数理・計算科学系 | ||||||||||||
| 著者所属 | ||||||||||||
| 理化学研究所計算科学研究センター／東京工業大学情報理工学院数理・計算科学系 | ||||||||||||
| 著者名 |
八島, 慶汰
× 八島, 慶汰
× 大山, 洋介
× 松岡, 聡
|
|||||||||||
| 論文抄録 | ||||||||||||
| 内容記述タイプ | Other | |||||||||||
| 内容記述 | 近年，機械学習，深層学習と呼ばれる手法が盛んに研究されており，画像認識 ・ 音声認識 ・ 自然言語処理等の広くの分野で他の手法に比べ非常に優れた結果や精度を達成している．特に，ニューラルネットの並列学習の手法であるデータ並列の学習下では，各 GPU が分割されたデータセットを入力としてそれぞれ独立に計算を行い，パラメーターサーバーや All Reduce 等の計算を使用しモデルの更新を行っている．また，ニューラルネットの学習では勾配消失問題や出力の分布を一定に操作するために多くの正則化手法が提案されている．特にその効果が大きいと期待されている Batch Normalization (Batch Norm) が多く用いられており，既存の Batch Norm では GPU 毎に独立して正則化が行われている．本論文では GPU デバイスで独立に正規化が行われた場合と GPU デバイス間においてまたがるように正規化が行われた場合で精度や計算時間等にどのような影響を与えるのかどうかを実験した． | |||||||||||
| 書誌レコードID | ||||||||||||
| 収録物識別子タイプ | NCID | |||||||||||
| 収録物識別子 | AN10463942 | |||||||||||
| 書誌情報 |
研究報告ハイパフォーマンスコンピューティング（HPC） 巻 2018-HPC-165, 号 1, p. 1-6, 発行日 2018-07-23 |
|||||||||||
| ISSN | ||||||||||||
| 収録物識別子タイプ | ISSN | |||||||||||
| 収録物識別子 | 2188-8841 | |||||||||||
| Notice | ||||||||||||
| SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc. | ||||||||||||
| 出版者 | ||||||||||||
| 言語 | ja | |||||||||||
| 出版者 | 情報処理学会 | |||||||||||
