ログイン 新規登録
言語:

WEKO3

  • トップ
  • ランキング


インデックスリンク

インデックスツリー

  • RootNode

メールアドレスを入力してください。

WEKO

One fine body…

WEKO

One fine body…

アイテム

  1. 研究報告
  2. 組込みシステム(EMB)
  3. 2021
  4. 2021-EMB-056

Mesh TensorFlowを用いたモデル並列学習におけるCPU-GPU間のデータ転送最適化

https://ipsj.ixsq.nii.ac.jp/records/210515
https://ipsj.ixsq.nii.ac.jp/records/210515
80077617-abb7-45ff-9aea-8b3ae2cff9c3
名前 / ファイル ライセンス アクション
IPSJ-EMB21056017.pdf IPSJ-EMB21056017.pdf (1.7 MB)
Copyright (c) 2021 by the Institute of Electronics, Information and Communication Engineers This SIG report is only available to those in membership of the SIG.
EMB:会員:¥0, DLIB:会員:¥0
Item type SIG Technical Reports(1)
公開日 2021-03-18
タイトル
タイトル Mesh TensorFlowを用いたモデル並列学習におけるCPU-GPU間のデータ転送最適化
言語
言語 jpn
キーワード
主題Scheme Other
主題 機械学習
資源タイプ
資源タイプ識別子 http://purl.org/coar/resource_type/c_18gh
資源タイプ technical report
著者所属
電気通信大学
著者所属
電気通信大学
著者所属
電気通信大学
著者所属
電気通信大学
著者名 横手, 宥則

× 横手, 宥則

横手, 宥則

Search repository
三輪, 忍

× 三輪, 忍

三輪, 忍

Search repository
八巻, 隼人

× 八巻, 隼人

八巻, 隼人

Search repository
本多, 弘樹

× 本多, 弘樹

本多, 弘樹

Search repository
論文抄録
内容記述タイプ Other
内容記述 深層学習には膨大な計算時間を要することから,複数 GPU を用いた並列化が行われることが多い.深層学習の並列化方式の 1 つのモデル並列化に対応した言語として Mesh TensorFlow が提案されている.Mesh TensorFlow は最初のバージョンがリリースされてからまだ日が浅く,利用法に関する知見が十分に得られているとは言い難い.そこで本稿では,Mesh TensorFlow を用いたモデル並列化において CPU-GPU 間のデータ転送の最適化を行う.具体的には,Mesh TensorFlow のサンプルコードで CPU から GPU への訓練データ転送を特定の GPU を経由するのではなく,CPU から各 GPU に並列に直接転送するようにする.これにより,経由していた GPU メモリの利用効率改善とデータ転送時間の短縮が期待できる.評価の結果,上記の最適化によって最適化前よりも訓練データ転送時間を 短縮可能であり,また経由地となっていた GPU の使用メモリ量も削減可能なことを確認できた.
書誌レコードID
収録物識別子タイプ NCID
収録物識別子 AA12149313
書誌情報 研究報告組込みシステム(EMB)

巻 2021-EMB-56, 号 17, p. 1-6, 発行日 2021-03-18
ISSN
収録物識別子タイプ ISSN
収録物識別子 2188-868X
Notice
SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
出版者
言語 ja
出版者 情報処理学会
戻る
0
views
See details
Views

Versions

Ver.1 2025-01-19 18:07:59.919737
Show All versions

Share

Mendeley Twitter Facebook Print Addthis

Cite as

横手, 宥則, 三輪, 忍, 八巻, 隼人, 本多, 弘樹, 2021, Mesh TensorFlowを用いたモデル並列学習におけるCPU-GPU間のデータ転送最適化: 情報処理学会, 1–6 p.

Loading...

エクスポート

OAI-PMH
  • OAI-PMH JPCOAR
  • OAI-PMH DublinCore
  • OAI-PMH DDI
Other Formats
  • JSON
  • BIBTEX

Confirm


Powered by WEKO3


Powered by WEKO3