2026-05-20T01:16:40Z https://ipsj.ixsq.nii.ac.jp/oai

oai:ipsj.ixsq.nii.ac.jp:00197513 2025-01-19T22:18:40Z 1164:1579:9681:9819

FPGAスイッチを用いたマルチGPU深層学習の高速化 Accelerating Deep Learning for Multiple GPUs using FPGA Based Switch 井坪, 知也 竹本, 一馬 松谷, 宏紀 Tomoya, Itsubo Kazuma, Takemoto Hiroki, Matsutani ニューラルネットワーク 深層学習を用いた学習は大量の訓練データに対して大量の行列演算を行うため，学習の完了には膨大な時間がかかる．近年では，行列演算を高速に処理できる GPU (Graphics Processing Unit) を複数用いて並列に計算を行うことで高速に学習が行えることから，GPU 搭載マシンを相互接続したクラスタを使用した分散深層学習が広く利用されている．計算負荷という点では GPU による勾配計算が支配的ではあるが，このような分散深層学習においては GPU を搭載したホストマシンによる勾配集約のオーバヘッドも無視できない．そこで，本論文では，PCI-Express over 10Gbit Ethernet 技術を用いて GPU とホストマシンをリモート接続することで単一のホストマシンに接続されるGPU の数を増やす．そのうえで Ethernet でリモート接続された GPU とホスト間に勾配集約を専用回路で行う FPGA ベースの 10Gbit Ethernet スイッチを導入する．このように勾配計算をリモート GPU，勾配集約を FPGA スイッチで実現することで分散深層学習処理の高効率化を狙う． 情報処理学会 2019-06-04 jpn technical report https://ipsj.ixsq.nii.ac.jp/records/197513 2188-8574 AN10096105 研究報告システム・アーキテクチャ（ARC） 2019-ARC-236 7 1 6 https://ipsj.ixsq.nii.ac.jp/record/197513/files/IPSJ-ARC19236007.pdf application/pdf 873.0 kB