深層強化学習を利用した報酬関数による集団制御

• Item type: Symposium(1)
• 公開日: 2022-11-04
• タイトル: 深層強化学習を利用した報酬関数による集団制御
• タイトル / 言語: en
• タイトル: Group Control with Reward Functions by using Deep Reinforcement Learning
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: 深層強化学習
• キーワード / 主題Scheme: Other
• キーワード / 主題: マルチエージェント
• キーワード / 主題Scheme: Other
• キーワード / 主題: ゲームAI
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_5794
• 資源タイプ: conference paper
• 著者所属: 立教大学大学院
• 著者所属(英): en
• 著者所属(英): Rikkyo University
• 著者名: 岩井, 大河; 三宅, 陽一郎
• 著者名(英): TAIGA, IWAI; YOUICHIROU, MIYAKE
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 本研究では，深層強化学習を利用したカスタマイズ可能な集団制御を行う．ここで，カスタマイズ可能とは，開発者がパラメータを変化させることで集団制御のあり方を自由にデザインできることを意味する．これは産業におけるゲームAI 開発において必須の条件である．本手法では，報酬関数によって，エージェントの行動に条件を付与することで，集団制御をカスタマイズできるようにする．そして，メタAI を用いたトップダウン型の指揮官エージェントモデルとマルチエージェントシステムを用いたボトムアップ型のNNベースマルチエージェントモデルの２つのモデルで比較を行う．ゲームAI における集団制御にはボイドや群衆AI が利用されることが多く，ステアリングや衝突回避などが必要である．また機械学習を用いたキャラクターのビヘイビアの開発では，1 対1 で戦う『Blade & Soul』（NCSOFT，2012）において，報酬でキャラクターの振る舞いのカスタマイズを行う手法，つまりキャラクターが標準的，攻撃的，守備的な行動を取るように報酬関数をカスタマイズさせたキャラクターAI が実装されている．エージェントの集団制御に，深層強化学習を用いた本手法が有効であることを検証する．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: In this study, we propose a customizable population control system based on deep reinforcement learning． Customizable means that the developer can freely design the group control by changing the parameters． This is an essential condition for game AI development in industry． In this method, the reward function allows the developer to customize group control by imposing conditions on the agents' actions． We compare two models: a top-down commander agent model using meta-AI and a bottom-up NN-based multi-agent model using a multi-agent system． Voiding and crowd AI are often used for group control in game AI, which requires steering and collision avoidance． In the development of character behaviors using machine learning, in Blade & Soul (NCSOFT, 2012), a one-on-one battle, a method of customizing character behavior with rewards, i．e．, characters can be assigned standard, Character AI with customized reward functions has been implemented in "Blade & Soul" (NCSOFT, 2012), where the character's behavior is customized by rewards, so that the character can behave in standard, aggressive, or defensive ways． We verify the effectiveness of this method, which uses deep reinforcement learning, in controlling a group of agents．
• 書誌情報: ゲームプログラミングワークショップ2022論文集; 巻 2022, p. 209-216, 発行日 2022-11-04
• 出版者 / 言語: ja
• 出版者: 情報処理学会