一時的好奇心に基づく内発的報酬設計を用いた強化学習によるローグライクゲームの学習

• Item type: Symposium(1)
• 公開日: 2022-11-04
• タイトル: 一時的好奇心に基づく内発的報酬設計を用いた強化学習によるローグライクゲームの学習
• タイトル / 言語: en
• タイトル: Reinforcement Learning in Rogue-like Games with Temporary Curiosity
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: 強化学習
• キーワード / 主題Scheme: Other
• キーワード / 主題: 人工知能
• キーワード / 主題Scheme: Other
• キーワード / 主題: Random_Network_Distillation
• キーワード / 主題Scheme: Other
• キーワード / 主題: ローグライクゲーム
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_5794
• 資源タイプ: conference paper
• 著者所属: 東京大学工学部電子情報工学科
• 著者所属: 東京大学大学院情報理工学系研究科電子情報学専攻
• 著者所属(英): en
• 著者所属(英): Department of Information and Communication Engineering, The University of Tokyo, Bunkyo, Tokyo 113 ‒ 8654, Japan
• 著者所属(英): en
• 著者所属(英): Graduate School of Information Science and Technology, The University of Tokyo, Bunkyo, Tokyo 113 ‒ 8654, Japan
• 著者名: 加賀谷, 昂輝; 鶴岡, 慶雅
• 著者名(英): Koki, Kagaya; Yoshimasa, Tsuruoka
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: ゲームAI を評価する環境の１つとして, ローグライクと呼ばれるダンジョン探索型環境がある. ローグライク環境は, 初期値にランダム性がある点, 報酬が疎である点, 部分観測しかできない点など, 難易度の高い環境であると同時に現実環境により近く, 興味深い環境でもあるため, これに対する学習手法を検討する. 先行研究では好奇心による内部報酬を用いた手法などで高い成果を得られることが検証されているが, 同時に探索済み状態を過剰に避けるなどの環境特有の問題点も指摘されており, 本研究ではそれを改善できることが期待できる手法を提案する. 評価実験では, ローグライク環境において３種類の報酬設計で学習を行い, 提案手法での内発的報酬設計においてより学習が促進されていることを確認した.
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: One of the environments in which game AI can be evaluated is a dungeon-exploration type environment called a rogue-like. The rogue-like environment is challenging since the initial states are random, the rewards are sparse, and only partial observation is possible. Previous studies have verified that methods using intrinsic rewards based on curiosity can produce high results, but at the same time, problems specific to the environment, such as excessive avoidance of already explored states, have been pointed out. We conducted evaluation experiments in a roguelike environment using three types of reward designs and confirmed that the proposed intrinsic reward design promotes learning more than the other two.
• 書誌情報: ゲームプログラミングワークショップ2022論文集; 巻 2022, p. 199-204, 発行日 2022-11-04
• 出版者 / 言語: ja
• 出版者: 情報処理学会