2026-05-20T16:49:49Z https://ipsj.ixsq.nii.ac.jp/oai

oai:ipsj.ixsq.nii.ac.jp:00210515 2025-01-19T18:08:00Z 1164:2822:10563:10564

Mesh TensorFlowを用いたモデル並列学習におけるCPU-GPU間のデータ転送最適化 横手, 宥則 三輪, 忍 八巻, 隼人 本多, 弘樹 機械学習 深層学習には膨大な計算時間を要することから，複数 GPU を用いた並列化が行われることが多い．深層学習の並列化方式の 1 つのモデル並列化に対応した言語として Mesh TensorFlow が提案されている．Mesh TensorFlow は最初のバージョンがリリースされてからまだ日が浅く，利用法に関する知見が十分に得られているとは言い難い．そこで本稿では，Mesh TensorFlow を用いたモデル並列化において CPU-GPU 間のデータ転送の最適化を行う．具体的には，Mesh TensorFlow のサンプルコードで CPU から GPU への訓練データ転送を特定の GPU を経由するのではなく，CPU から各 GPU に並列に直接転送するようにする．これにより，経由していた GPU メモリの利用効率改善とデータ転送時間の短縮が期待できる．評価の結果，上記の最適化によって最適化前よりも訓練データ転送時間を 短縮可能であり，また経由地となっていた GPU の使用メモリ量も削減可能なことを確認できた． technical report 情報処理学会 2021-03-18 application/pdf 研究報告組込みシステム（EMB） 17 2021-EMB-56 1 6 2188-868X AA12149313 https://ipsj.ixsq.nii.ac.jp/record/210515/files/IPSJ-EMB21056017.pdf jpn