@techreport{oai:ipsj.ixsq.nii.ac.jp:00237613,
 author = {小鹿, 友裕 and 久田松, 彪晟 and 松谷, 宏紀 and 森島, 信 and Tomohiro, Ojika and Kousei, Kudamatu and Hiroki, Matsutani and Shin, Morishima},
 issue = {19},
 month = {Aug},
 note = {分散強化学習はロボット制御等への応用が期待されている．そのような応用では，経験を生成する Actor がエッジ，学習を行う Learner がクラウドとなるエッジクラウド環境が想定され，Actor ノードと Learner ノード間の通信オーバーヘッドが問題となる．エッジクラウド環境では，Actor ノードと Learner ノードに加えて，Actor が生成した経験を集約して Learner へ送信する Buffer ノードを追加する構成が一般的であり，その構成において Buffer ノードにリプレイメモリを設ける構成が提案されている．本論文では，この構成にさらに Learner ノード内に一度利用した経験をキャッシュする経験キャッシュを設けることで，複数回利用する経験の再送信を削減し，分散強化学習の通信オーバーヘッドを削減する手法を提案する．エッジクラウド環境を想定して，Buffer ノードと Learner ノード間を 25GbE のスイッチと 10km の光ファイバーを介して接続した環境において評価した結果，通信量を 27.3% 削減し，スループットを 8.7% 向上させることに成功した．},
 title = {経験キャッシュを用いたエッジクラウド環境における分散強化学習の高速化},
 year = {2024}
}