WEKO3
アイテム
Mesh TensorFlowを用いたモデル並列学習におけるCPU-GPU間のデータ転送最適化
https://ipsj.ixsq.nii.ac.jp/records/210466
https://ipsj.ixsq.nii.ac.jp/records/2104665f5a6dbd-09fe-4721-b439-6a9a8856483e
| 名前 / ファイル | ライセンス | アクション |
|---|---|---|
IPSJ-ARC21244017.pdf (1.7 MB)
|
Copyright (c) 2021 by the Institute of Electronics, Information and Communication Engineers This SIG report is only available to those in membership of the SIG.
|
|
| ARC:会員：¥0, DLIB:会員：¥0 | ||
| Item type | SIG Technical Reports(1) | |||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 公開日 | 2021-03-18 | |||||||||||||
| タイトル | ||||||||||||||
| タイトル | Mesh TensorFlowを用いたモデル並列学習におけるCPU-GPU間のデータ転送最適化 | |||||||||||||
| 言語 | ||||||||||||||
| 言語 | jpn | |||||||||||||
| キーワード | ||||||||||||||
| 主題Scheme | Other | |||||||||||||
| 主題 | 機械学習 | |||||||||||||
| 資源タイプ | ||||||||||||||
| 資源タイプ識別子 | http://purl.org/coar/resource_type/c_18gh | |||||||||||||
| 資源タイプ | technical report | |||||||||||||
| 著者所属 | ||||||||||||||
| 電気通信大学 | ||||||||||||||
| 著者所属 | ||||||||||||||
| 電気通信大学 | ||||||||||||||
| 著者所属 | ||||||||||||||
| 電気通信大学 | ||||||||||||||
| 著者所属 | ||||||||||||||
| 電気通信大学 | ||||||||||||||
| 著者名 |
横手, 宥則
× 横手, 宥則
× 三輪, 忍
× 八巻, 隼人
× 本多, 弘樹
|
|||||||||||||
| 論文抄録 | ||||||||||||||
| 内容記述タイプ | Other | |||||||||||||
| 内容記述 | 深層学習には膨大な計算時間を要することから，複数 GPU を用いた並列化が行われることが多い．深層学習の並列化方式の 1 つのモデル並列化に対応した言語として Mesh TensorFlow が提案されている．Mesh TensorFlow は最初のバージョンがリリースされてからまだ日が浅く，利用法に関する知見が十分に得られているとは言い難い．そこで本稿では，Mesh TensorFlow を用いたモデル並列化において CPU-GPU 間のデータ転送の最適化を行う．具体的には，Mesh TensorFlow のサンプルコードで CPU から GPU への訓練データ転送を特定の GPU を経由するのではなく，CPU から各 GPU に並列に直接転送するようにする．これにより，経由していた GPU メモリの利用効率改善とデータ転送時間の短縮が期待できる．評価の結果，上記の最適化によって最適化前よりも訓練データ転送時間を 短縮可能であり，また経由地となっていた GPU の使用メモリ量も削減可能なことを確認できた． | |||||||||||||
| 書誌レコードID | ||||||||||||||
| 収録物識別子タイプ | NCID | |||||||||||||
| 収録物識別子 | AN10096105 | |||||||||||||
| 書誌情報 |
研究報告システム・アーキテクチャ（ARC） 巻 2021-ARC-244, 号 17, p. 1-6, 発行日 2021-03-18 |
|||||||||||||
| ISSN | ||||||||||||||
| 収録物識別子タイプ | ISSN | |||||||||||||
| 収録物識別子 | 2188-8574 | |||||||||||||
| Notice | ||||||||||||||
| SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc. | ||||||||||||||
| 出版者 | ||||||||||||||
| 言語 | ja | |||||||||||||
| 出版者 | 情報処理学会 | |||||||||||||
