アクションゲームにおけるディープニューラルネットワーク付きステートマシンを用いたキャラクターAI強化学習

• Item type: Symposium(1)
• 公開日: 2022-11-04
• タイトル: アクションゲームにおけるディープニューラルネットワーク付きステートマシンを用いたキャラクターAI強化学習
• タイトル / 言語: en
• タイトル: Character AI Reinforcement Learning by Using Finite State Machine with Deep Neural Network in Action Games
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: 強化学習
• キーワード / 主題Scheme: Other
• キーワード / 主題: 有限ステートマシン
• キーワード / 主題Scheme: Other
• キーワード / 主題: ディープラーニング
• キーワード / 主題Scheme: Other
• キーワード / 主題: キャラクター制御
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_5794
• 資源タイプ: conference paper
• 著者所属: 立教大学大学院 人工知能科学研究科
• 著者所属(英): en
• 著者所属(英): Graduate School of Artificial Intelligence and Science, Rikkyo University
• 著者名: 周, 済涛; 三宅, 陽一郎
• 著者名(英): Jitao, Zhou; Youichiro, Miyake
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 強化学習を用いたエージェント設計が進歩を遂げており，より効率的かつ柔軟に強化学習をコントロールする手法が求められている．そこで，古典的な意思決定モデルであるステートマシンとディープニューラルネットワーク（DNN) 強化学習の組み合わせを検証する．各ステートは一つのDNN を持ち学習を実行する．学習中，遷移によってステートの切り替えが発生した場合，ノンアクティブになったステートに対応するDNN の学習は一旦停止されるが，再びアクティブになった場合に学習が再開される．アクティブになったステートのDNN がキャラクターを制御する．DNN 付きステートは，記号主義的に定義されたステートとコネクショニズムのニューラルネットがセットになっており，より柔軟な制御を持つキャラクターAI を作成できる．本研究は，Unity3D の環境でステートマシンを構築し，強化学習をコントロールしながらキャラクターAI にゲーム内で戦闘する方法を学習させた．多数のDNN を並行して学習させたモデルを1 つのDNN で学習させたモデルを比較し，本手法全体の性能を評価する．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: Agent design by using reinforcement learning has been making progress, and there is a requirement for more efficient and flexible methods to control reinforcement learning. We examine the combination of a classical decision-making model, the state machine, and deep neural network (DNN) reinforcement learning. Each state has a DNN and performs learning. During learning, when a state switch occurs due to a transition, the learning of the DNN corresponding to the inactive state is stopped, but resumes when the state becomes active again. The DNN of the activated state controls the character, and the DNN state consists of symbolically defined states and connectionism neural nets. It allows the creation of character AI with more flexible control. In this study, a state machine is built in the Unity3D environment and a character AI is trained to learn how to fight in a game while the state machine controls reinforcement learning. We evaluate the overall performance of our method by comparing two models: the one is trained with many DNNs, and the other is trained with a single DNN.
• 書誌情報: ゲームプログラミングワークショップ2022論文集; 巻 2022, p. 261-265, 発行日 2022-11-04
• 出版者 / 言語: ja
• 出版者: 情報処理学会