DPDKを用いた分散深層強化学習における経験サンプリングの高速化

• Item type: SIG Technical Reports(1)
• 公開日: 2021-07-13
• タイトル: DPDKを用いた分散深層強化学習における経験サンプリングの高速化
• タイトル / 言語: en
• タイトル: A DPDK-Based Acceleration Method for Experience Sampling of Distributed Reinforcement Learning
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: 分散コンピューティング
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 慶應義塾大学大学院理工学研究科
• 著者所属: 慶應義塾大学大学院理工学研究科
• 著者所属(英): en
• 著者所属(英): Graduate School of Science and Technology, Keio University
• 著者所属(英): en
• 著者所属(英): Graduate School of Science and Technology, Keio University
• 著者名: 古川, 雅輝; 松谷, 宏紀
• 著者名(英): Masaki, Furukawa; Hiroki, Matsutani
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: DQN (Deep Q-Network) に代表される深層強化学習の性能を向上させるため，分散深層強化学習では，複数の計算機をネットワーク接続した計算機クラスタが用いられる．計算機クラスタを用いた分散深層強化学習では，環境空間の探索により経験を獲得する Actor と深層学習モデルを最適化する Learner の間で，経験サイズや Actor 数に応じたデータ転送が頻繁に発生するため，通信コストが分散学習の性能向上を妨げる．そこで，本研究では 40GbE (40Gbit Ethernet) ネットワークで接続された Actor と Learner の間に，DPDK によって低遅延化されたインメモリデータベースや経験再生メモリを導入することで，分散深層強化学習における通信コストの削減を図る．DPDK を用いたカーネルバイパスによるネットワーク最適化によって，共有メモリへのアクセス遅延は 32.7%～58.9% 削減された．また，DPDK ベースの優先度付き経験再生メモリをネットワーク上に実装することで，経験再生メモリへのアクセス遅延は 11.7%～28.1% 改善し，優先度付き経験サンプリングにおける通信遅延は 21.9%～29.1% 削減された．
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10096105
• 書誌情報: 研究報告システム・アーキテクチャ（ARC）; 巻 2021-ARC-245, 号 13, p. 1-6, 発行日 2021-07-13
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8574
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会