物理ロボットとシミュレーションモデルによる経路探索のための深層強化学習手法

• Item type: SIG Technical Reports(1)
• 公開日: 2024-06-03
• タイトル: 物理ロボットとシミュレーションモデルによる経路探索のための深層強化学習手法
• タイトル / 言語: en
• タイトル: A Deep Reinforcement Learning Method for Path Planning using Digital Twins
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: AI・機械学習
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 東京大学
• 著者所属: 東京大学
• 著者所属: 箱庭ラボ
• 著者所属: 東京大学
• 著者所属: 東京大学
• 著者所属(英): en
• 著者所属(英): The University of Tokyo
• 著者所属(英): en
• 著者所属(英): The University of Tokyo
• 著者所属(英): en
• 著者所属(英): Hakoniwa Lab.
• 著者所属(英): en
• 著者所属(英): The University of Tokyo
• 著者所属(英): en
• 著者所属(英): The University of Tokyo
• 著者名: 高木, 柚李; 細合, 晋太郎; 森, 崇; 中村, 宏; 高瀬, 英希
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 近年，Society 5.0 の提唱に伴い情報世界と物理世界の相互作用が注目される中，高精度なリアルタイムシミュレーションを実現するデジタルツインが大きな期待を集めている．深層強化学習はその汎用性からあらゆる分野において活用されている．デジタルツインシステムを活用して深層強化学習を行う手法について従来より研究が進められているが，物理世界における高精度な測定の難しさが大きな課題となっている．本研究では，多様なシミュレーション技術を結合できる箱庭を用いてデジタルツインシステムを構成し，学習に必要な状態測定値を物理世界と情報世界で分担して測定する統合的深層強化学習手法を提案する．提案手法を用いて経路探索タスクについて Deep Q-Network による強化学習を行い，提案する深層強化学習手法のタスクに対する有効性を示した．本研究の成果により，デジタルツインの利点を活かした低コストな深層強化学習が可能となり，強化学習の物理世界における実用化を促進することが期待される．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: In recent years, with the proposal of Society 5.0, the interaction between the information world and the physical world has garnered attention, and digital twins capable of high-precision real-time simulation have attracted significant expectations. Deep reinforcement learning has been utilized in various fields due to its versatility. There has been previous research on methods for conducting deep reinforcement learning using digital twins, but the difficulty of achieving high-precision measurements in the physical world presents a major challenge.This study proposes an integrated deep reinforcement learning method using a digital twin system constructed on Hakoniwa, a virtual simulation system capable of combining various simulation technologies, by measuring necessary state values by not only the physical but also the simulation robot. This study applied the proposed method for a path-planing task with the Deep Q-Network. The results of this research showed the competence of low-cost deep reinforcement learning by leveraging the advantages of digital twins, and it is expected to promote the practical application of reinforcement learning in the physical world.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10096105
• 書誌情報: 研究報告システム・アーキテクチャ（ARC）; 巻 2024-ARC-257, 号 12, p. 1-8, 発行日 2024-06-03
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8574
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会