WEKO3
アイテム
分散深層学習のためのワイヤースピードでのIn-Network Computingの検討
https://ipsj.ixsq.nii.ac.jp/records/196116
https://ipsj.ixsq.nii.ac.jp/records/1961164323cd31-3403-4fff-9562-6caa48d40eea
| 名前 / ファイル | ライセンス | アクション |
|---|---|---|
IPSJ-Z81-5A-01.pdf (497.3 kB)
|
Copyright (c) 2019 by the Information Processing Society of Japan
|
| Item type | National Convention(1) | |||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 公開日 | 2019-02-28 | |||||||||||||||||||||||||
| タイトル | ||||||||||||||||||||||||||
| タイトル | 分散深層学習のためのワイヤースピードでのIn-Network Computingの検討 | |||||||||||||||||||||||||
| 言語 | ||||||||||||||||||||||||||
| 言語 | jpn | |||||||||||||||||||||||||
| キーワード | ||||||||||||||||||||||||||
| 主題Scheme | Other | |||||||||||||||||||||||||
| 主題 | コンピュータシステム | |||||||||||||||||||||||||
| 資源タイプ | ||||||||||||||||||||||||||
| 資源タイプ識別子 | http://purl.org/coar/resource_type/c_5794 | |||||||||||||||||||||||||
| 資源タイプ | conference paper | |||||||||||||||||||||||||
| 著者所属 | ||||||||||||||||||||||||||
| NTT | ||||||||||||||||||||||||||
| 著者所属 | ||||||||||||||||||||||||||
| NTT | ||||||||||||||||||||||||||
| 著者所属 | ||||||||||||||||||||||||||
| NTT | ||||||||||||||||||||||||||
| 著者所属 | ||||||||||||||||||||||||||
| NTT | ||||||||||||||||||||||||||
| 著者所属 | ||||||||||||||||||||||||||
| NTT | ||||||||||||||||||||||||||
| 著者所属 | ||||||||||||||||||||||||||
| NTT | ||||||||||||||||||||||||||
| 著者所属 | ||||||||||||||||||||||||||
| NTT | ||||||||||||||||||||||||||
| 著者所属 | ||||||||||||||||||||||||||
| NTT | ||||||||||||||||||||||||||
| 著者所属 | ||||||||||||||||||||||||||
| NTT | ||||||||||||||||||||||||||
| 著者所属 | ||||||||||||||||||||||||||
| NTT | ||||||||||||||||||||||||||
| 著者名 |
田仲, 顕至
× 田仲, 顕至
× 有川, 勇輝
× 川合, 健治
× 加藤, 順一
× 伊藤, 猛
× ゴー, ヒュークー
× 森田, 和孝
× 三浦, 史光
× 坂本, 健
× 重松, 智志
|
|||||||||||||||||||||||||
| 論文抄録 | ||||||||||||||||||||||||||
| 内容記述タイプ | Other | |||||||||||||||||||||||||
| 内容記述 | データ並列分散深層学習では、複数のワーカーノードで計算された勾配情報を集約・共有するために、Allreduceが行われる。この時、勾配情報のメッセージサイズは100KB以上と大きく、Allreduceのレイテンシが分散深層学習高速化のボトルネックとなることが知られている。本研究では、この集団通信のレイテンシを短縮するために、Allreduceに特化したデータフローアーキテクチャを提案する。実験結果より、提案手法がワイヤスピード（10 Gbps）の96％でAllreduceを実行可能であることが示された。さらに、提案手法は、既存のハードウェア実装によるAllreduceの高速化手法と比べ、ResNet-50と同等のメッセージサイズのデータをAllreduceする時に生じるレイテンシを65％短縮した。 | |||||||||||||||||||||||||
| 書誌レコードID | ||||||||||||||||||||||||||
| 収録物識別子タイプ | NCID | |||||||||||||||||||||||||
| 収録物識別子 | AN00349328 | |||||||||||||||||||||||||
| 書誌情報 |
第81回全国大会講演論文集 巻 2019, 号 1, p. 7-8, 発行日 2019-02-28 |
|||||||||||||||||||||||||
| 出版者 | ||||||||||||||||||||||||||
| 言語 | ja | |||||||||||||||||||||||||
| 出版者 | 情報処理学会 | |||||||||||||||||||||||||
