@techreport{oai:ipsj.ixsq.nii.ac.jp:00211911,
 author = {古川, 雅輝 and 松谷, 宏紀 and Masaki, Furukawa and Hiroki, Matsutani},
 issue = {13},
 month = {Jul},
 note = {DQN (Deep Q-Network) に代表される深層強化学習の性能を向上させるため，分散深層強化学習では，複数の計算機をネットワーク接続した計算機クラスタが用いられる．計算機クラスタを用いた分散深層強化学習では，環境空間の探索により経験を獲得する Actor と深層学習モデルを最適化する Learner の間で，経験サイズや Actor 数に応じたデータ転送が頻繁に発生するため，通信コストが分散学習の性能向上を妨げる．そこで，本研究では 40GbE (40Gbit Ethernet) ネットワークで接続された Actor と Learner の間に，DPDK によって低遅延化されたインメモリデータベースや経験再生メモリを導入することで，分散深層強化学習における通信コストの削減を図る．DPDK を用いたカーネルバイパスによるネットワーク最適化によって，共有メモリへのアクセス遅延は 32.7%～58.9% 削減された．また，DPDK  ベースの優先度付き経験再生メモリをネットワーク上に実装することで，経験再生メモリへのアクセス遅延は 11.7%～28.1% 改善し，優先度付き経験サンプリングにおける通信遅延は 21.9%～29.1% 削減された．},
 title = {DPDKを用いた分散深層強化学習における経験サンプリングの高速化},
 year = {2021}
}