Item type |
SIG Technical Reports(1) |
公開日 |
2021-07-13 |
タイトル |
|
|
タイトル |
DPDKを用いた分散深層強化学習における経験サンプリングの高速化 |
タイトル |
|
|
言語 |
en |
|
タイトル |
A DPDK-Based Acceleration Method for Experience Sampling of Distributed Reinforcement Learning |
言語 |
|
|
言語 |
jpn |
キーワード |
|
|
主題Scheme |
Other |
|
主題 |
分散コンピューティング |
資源タイプ |
|
|
資源タイプ識別子 |
http://purl.org/coar/resource_type/c_18gh |
|
資源タイプ |
technical report |
著者所属 |
|
|
|
慶應義塾大学大学院理工学研究科 |
著者所属 |
|
|
|
慶應義塾大学大学院理工学研究科 |
著者所属(英) |
|
|
|
en |
|
|
Graduate School of Science and Technology, Keio University |
著者所属(英) |
|
|
|
en |
|
|
Graduate School of Science and Technology, Keio University |
著者名 |
古川, 雅輝
松谷, 宏紀
|
著者名(英) |
Masaki, Furukawa
Hiroki, Matsutani
|
論文抄録 |
|
|
内容記述タイプ |
Other |
|
内容記述 |
DQN (Deep Q-Network) に代表される深層強化学習の性能を向上させるため,分散深層強化学習では,複数の計算機をネットワーク接続した計算機クラスタが用いられる.計算機クラスタを用いた分散深層強化学習では,環境空間の探索により経験を獲得する Actor と深層学習モデルを最適化する Learner の間で,経験サイズや Actor 数に応じたデータ転送が頻繁に発生するため,通信コストが分散学習の性能向上を妨げる.そこで,本研究では 40GbE (40Gbit Ethernet) ネットワークで接続された Actor と Learner の間に,DPDK によって低遅延化されたインメモリデータベースや経験再生メモリを導入することで,分散深層強化学習における通信コストの削減を図る.DPDK を用いたカーネルバイパスによるネットワーク最適化によって,共有メモリへのアクセス遅延は 32.7%~58.9% 削減された.また,DPDK ベースの優先度付き経験再生メモリをネットワーク上に実装することで,経験再生メモリへのアクセス遅延は 11.7%~28.1% 改善し,優先度付き経験サンプリングにおける通信遅延は 21.9%~29.1% 削減された. |
書誌レコードID |
|
|
収録物識別子タイプ |
NCID |
|
収録物識別子 |
AN10096105 |
書誌情報 |
研究報告システム・アーキテクチャ(ARC)
巻 2021-ARC-245,
号 13,
p. 1-6,
発行日 2021-07-13
|
ISSN |
|
|
収録物識別子タイプ |
ISSN |
|
収録物識別子 |
2188-8574 |
Notice |
|
|
|
SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc. |
出版者 |
|
|
言語 |
ja |
|
出版者 |
情報処理学会 |