WEKO3
-
RootNode
アイテム
Mesh TensorFlowを用いたモデル並列学習におけるCPU-GPU間のデータ転送最適化
https://ipsj.ixsq.nii.ac.jp/records/210515
https://ipsj.ixsq.nii.ac.jp/records/21051580077617-abb7-45ff-9aea-8b3ae2cff9c3
名前 / ファイル | ライセンス | アクション |
---|---|---|
![]() |
Copyright (c) 2021 by the Institute of Electronics, Information and Communication Engineers This SIG report is only available to those in membership of the SIG.
|
|
EMB:会員:¥0, DLIB:会員:¥0 |
Item type | SIG Technical Reports(1) | |||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
公開日 | 2021-03-18 | |||||||||||||
タイトル | ||||||||||||||
タイトル | Mesh TensorFlowを用いたモデル並列学習におけるCPU-GPU間のデータ転送最適化 | |||||||||||||
言語 | ||||||||||||||
言語 | jpn | |||||||||||||
キーワード | ||||||||||||||
主題Scheme | Other | |||||||||||||
主題 | 機械学習 | |||||||||||||
資源タイプ | ||||||||||||||
資源タイプ識別子 | http://purl.org/coar/resource_type/c_18gh | |||||||||||||
資源タイプ | technical report | |||||||||||||
著者所属 | ||||||||||||||
電気通信大学 | ||||||||||||||
著者所属 | ||||||||||||||
電気通信大学 | ||||||||||||||
著者所属 | ||||||||||||||
電気通信大学 | ||||||||||||||
著者所属 | ||||||||||||||
電気通信大学 | ||||||||||||||
著者名 |
横手, 宥則
× 横手, 宥則
× 三輪, 忍
× 八巻, 隼人
× 本多, 弘樹
|
|||||||||||||
論文抄録 | ||||||||||||||
内容記述タイプ | Other | |||||||||||||
内容記述 | 深層学習には膨大な計算時間を要することから,複数 GPU を用いた並列化が行われることが多い.深層学習の並列化方式の 1 つのモデル並列化に対応した言語として Mesh TensorFlow が提案されている.Mesh TensorFlow は最初のバージョンがリリースされてからまだ日が浅く,利用法に関する知見が十分に得られているとは言い難い.そこで本稿では,Mesh TensorFlow を用いたモデル並列化において CPU-GPU 間のデータ転送の最適化を行う.具体的には,Mesh TensorFlow のサンプルコードで CPU から GPU への訓練データ転送を特定の GPU を経由するのではなく,CPU から各 GPU に並列に直接転送するようにする.これにより,経由していた GPU メモリの利用効率改善とデータ転送時間の短縮が期待できる.評価の結果,上記の最適化によって最適化前よりも訓練データ転送時間を 短縮可能であり,また経由地となっていた GPU の使用メモリ量も削減可能なことを確認できた. | |||||||||||||
書誌レコードID | ||||||||||||||
収録物識別子タイプ | NCID | |||||||||||||
収録物識別子 | AA12149313 | |||||||||||||
書誌情報 |
研究報告組込みシステム(EMB) 巻 2021-EMB-56, 号 17, p. 1-6, 発行日 2021-03-18 |
|||||||||||||
ISSN | ||||||||||||||
収録物識別子タイプ | ISSN | |||||||||||||
収録物識別子 | 2188-868X | |||||||||||||
Notice | ||||||||||||||
SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc. | ||||||||||||||
出版者 | ||||||||||||||
言語 | ja | |||||||||||||
出版者 | 情報処理学会 |
Share
Cite as
横手, 宥則, 三輪, 忍, 八巻, 隼人, 本多, 弘樹, 2021, Mesh TensorFlowを用いたモデル並列学習におけるCPU-GPU間のデータ転送最適化: 情報処理学会, 1–6 p.
Loading...