FPGAスイッチを用いたマルチGPU深層学習の高速化

• Item type: SIG Technical Reports(1)
• 公開日: 2019-06-04
• タイトル: FPGAスイッチを用いたマルチGPU深層学習の高速化
• タイトル / 言語: en
• タイトル: Accelerating Deep Learning for Multiple GPUs using FPGA Based Switch
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: ニューラルネットワーク
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 慶應義塾大学大学院理工学研究科
• 著者所属: 慶應義塾大学大学院理工学研究科
• 著者所属: 慶應義塾大学大学院理工学研究科
• 著者所属(英): en
• 著者所属(英): Graduate School of Science and Technology, Keio University
• 著者所属(英): en
• 著者所属(英): Graduate School of Science and Technology, Keio University
• 著者所属(英): en
• 著者所属(英): Graduate School of Science and Technology, Keio University
• 著者名: 井坪, 知也; 竹本, 一馬; 松谷, 宏紀
• 著者名(英): Tomoya, Itsubo; Kazuma, Takemoto; Hiroki, Matsutani
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 深層学習を用いた学習は大量の訓練データに対して大量の行列演算を行うため，学習の完了には膨大な時間がかかる．近年では，行列演算を高速に処理できる GPU (Graphics Processing Unit) を複数用いて並列に計算を行うことで高速に学習が行えることから，GPU 搭載マシンを相互接続したクラスタを使用した分散深層学習が広く利用されている．計算負荷という点では GPU による勾配計算が支配的ではあるが，このような分散深層学習においては GPU を搭載したホストマシンによる勾配集約のオーバヘッドも無視できない．そこで，本論文では，PCI-Express over 10Gbit Ethernet 技術を用いて GPU とホストマシンをリモート接続することで単一のホストマシンに接続されるGPU の数を増やす．そのうえで Ethernet でリモート接続された GPU とホスト間に勾配集約を専用回路で行う FPGA ベースの 10Gbit Ethernet スイッチを導入する．このように勾配計算をリモート GPU，勾配集約を FPGA スイッチで実現することで分散深層学習処理の高効率化を狙う．
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10096105
• 書誌情報: 研究報告システム・アーキテクチャ（ARC）; 巻 2019-ARC-236, 号 7, p. 1-6, 発行日 2019-06-04
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8574
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会