深層強化学習における時系列的内部報酬生成器による探索の改善

• Item type: Trans(1)
• 公開日: 2021-01-27
• タイトル: 深層強化学習における時系列的内部報酬生成器による探索の改善
• タイトル / 言語: en
• タイトル: Exploration Improvement by Sequential Intrinsic Reward Generator in Deep Reinforcement Learning
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: [オリジナル論文] 強化学習，深層学習，深層強化学習，探索，内部報酬
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_6501
• 資源タイプ: journal article
• 著者所属: 名古屋工業大学大学院工学研究科情報工学専攻／現在，フューチャー株式会社
• 著者所属: 名古屋工業大学大学院工学研究科情報工学専攻
• 著者所属: 中部大学生命健康科学部臨床工学科
• 著者所属: 名古屋工業大学大学院工学研究科情報工学専攻
• 著者所属: 名古屋工業大学大学院工学研究科情報工学専攻
• 著者所属(英): en
• 著者所属(英): Department of Computer Science, Graduate School of Engineering, Nagoya Institute of Technology / Presently with Future Corporation
• 著者所属(英): en
• 著者所属(英): Department of Computer Science, Graduate School of Engineering, Nagoya Institute of Technology
• 著者所属(英): en
• 著者所属(英): Department of Clinical Engineering, College of Life and Health Sciences, Chubu University
• 著者所属(英): en
• 著者所属(英): Department of Computer Science, Graduate School of Engineering, Nagoya Institute of Technology
• 著者所属(英): en
• 著者所属(英): Department of Computer Science, Graduate School of Engineering, Nagoya Institute of Technology
• 著者名: 村上, 知優; 森山, 甲一; 松井, 藤五郎; 武藤, 敦子; 犬塚, 信博
• 著者名(英): Kazuhiro, Murakami; Koichi, Moriyama; Tohgoroh, Matsui; Atsuko, Mutoh; Nobuhiro, Inuzuka
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 近年，高次元状態における強化学習手法として深層強化学習という手法が注目されている．しかし，深層強化学習を含む強化学習全般において，報酬が疎な環境における学習が困難であることが知られている．この問題を解決する手段として，目新しい状態の訪問に対して内的な報酬を発生させ，エージェントに多様な状態への訪問を促進させる手法が存在する．本研究ではそれを時系列的なものへ拡張し，目新しい状態遷移に対して内部報酬を生成するようにした．これにより部分観測マルコフ決定過程における探索にも対応できるようにし，実験を行った結果，その有効性を確認した．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: Deep reinforcement learning is working well in the environment with high dimensional states. However, it is difficult for a reinforcement learning agent to learn an optimal policy in the environment where it hardly obtain rewards. Curiosity-driven exploration is a solution that gives intrinsic rewards to the agent in unfamiliar states to encourage it for visiting various states. This work proposes Sequential Intrinsic Reward Generator (SRG), which extends curiosity-driven exploration to a sequence of states and gives the agent intrinsic rewards for unfamiliar state transitions. Due to this sequential property, SRG is promising to work well also in partially observable Markov decision processes. The result of experiments shows that SRG worked better than other methods in such environments.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AA11464803
• 書誌情報: 情報処理学会論文誌数理モデル化と応用（TOM）; 巻 14, 号 1, p. 1-11, 発行日 2021-01-27
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 1882-7780
• 出版者 / 言語: ja
• 出版者: 情報処理学会