経験キャッシュを用いたエッジクラウド環境における分散強化学習の高速化

• Item type: SIG Technical Reports(1)
• 公開日: 2024-08-01
• タイトル: 経験キャッシュを用いたエッジクラウド環境における分散強化学習の高速化
• タイトル / 言語: en
• タイトル: An Acceleration Method for Distributed Reinforcement Learning in Edge-Cloud Environments Using Experience Cache
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: エッジコンピューティング
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 富山県立大学工学部
• 著者所属: 富山県立大学工学部
• 著者所属: 慶應義塾大学理工学部
• 著者所属: 富山県立大学工学部
• 著者所属(英): en
• 著者所属(英): Faculty of Engineering, Toyama Prefectural University
• 著者所属(英): en
• 著者所属(英): Faculty of Engineering, Toyama Prefectural University
• 著者所属(英): en
• 著者所属(英): Faculty of Science and Technology, Keio University
• 著者所属(英): en
• 著者所属(英): Faculty of Engineering, Toyama Prefectural University
• 著者名: 小鹿, 友裕; 久田松, 彪晟; 松谷, 宏紀; 森島, 信
• 著者名(英): Tomohiro, Ojika; Kousei, Kudamatu; Hiroki, Matsutani; Shin, Morishima
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 分散強化学習はロボット制御等への応用が期待されている．そのような応用では，経験を生成する Actor がエッジ，学習を行う Learner がクラウドとなるエッジクラウド環境が想定され，Actor ノードと Learner ノード間の通信オーバーヘッドが問題となる．エッジクラウド環境では，Actor ノードと Learner ノードに加えて，Actor が生成した経験を集約して Learner へ送信する Buffer ノードを追加する構成が一般的であり，その構成において Buffer ノードにリプレイメモリを設ける構成が提案されている．本論文では，この構成にさらに Learner ノード内に一度利用した経験をキャッシュする経験キャッシュを設けることで，複数回利用する経験の再送信を削減し，分散強化学習の通信オーバーヘッドを削減する手法を提案する．エッジクラウド環境を想定して，Buffer ノードと Learner ノード間を 25GbE のスイッチと 10km の光ファイバーを介して接続した環境において評価した結果，通信量を 27.3% 削減し，スループットを 8.7% 向上させることに成功した．
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10096105
• 書誌情報: 研究報告システム・アーキテクチャ（ARC）; 巻 2024-ARC-258, 号 19, p. 1-6, 発行日 2024-08-01
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8574
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会