2048へのMC Softmax探索の適用

• Item type: Symposium(1)
• 公開日: 2022-11-04
• タイトル: 2048へのMC Softmax探索の適用
• タイトル / 言語: en
• タイトル: Adaption of MC Softmax Search for 2048
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: ゲーム「2048」
• キーワード / 主題Scheme: Other
• キーワード / 主題: MC Softmax探索
• キーワード / 主題Scheme: Other
• キーワード / 主題: 強化学習
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_5794
• 資源タイプ: conference paper
• 著者所属: 高知工科大学大学院工学研究科
• 著者所属: 高知工科大学情報学群
• 著者所属(英): en
• 著者所属(英): Graduate School of Engineering, Kochi University of Technology
• 著者所属(英): en
• 著者所属(英): School of Information, Kochi University of Technology
• 著者名: 渡邊, 翔太; 松崎, 公紀
• 著者名(英): Shota, Watanabe; Kiminori, Matsuzaki
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: MC Softmax 探索は，評価関数を併用するモンテカルロ木探索の一種である．本研究では，MC Softmax 探索と強化学習を用いて，確率的一人ゲーム2048 のコンピュータプレイヤを作成する．評価関数には，既存の畳み込みニューラルネットワークを用いる．まず，ランダム性を固定した複数の木に対してMC Softmax 探索を適用するアルゴリズムを設計し，木の数を変更して実験を行った．実験の結果，最も優れたプレイヤは平均スコア48 008 を達成した．次に，chance ノードを含む木に対してMC Softmax 探索を適用するアルゴリズムを設計し，いくつかの学習方法について実験を行った．これらの実験から，探索結果の木の値を直接学習すると，それにより得られる評価関数の返り値が無限大に発散してしまう問題が生じた．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: MC Softmax search is a Monte-Carlo Tree Search algorithm that uses an evaluation function. In this study, we develop a computer player for a stochastic single-player game 2048 based on reinforcement learning methods and MC Softmax search. We use an existing convolutional neural network for the evaluation function. Firstly, we developed an algorithm that applied MC Softmax search to multiple trees without randomness and conducted experiments by changing the number of trees. The best player achieved an average score of 48 008. Secondly, we developed an algorithm that applied MC Softmax search to a single tree with chance nodes and conducted experiments with several learning methods. The experiment results, however, showed an issue that the direct learning of values from search outcomes would result in evaluation functions returning infinitely large values.
• 書誌情報: ゲームプログラミングワークショップ2022論文集; 巻 2022, p. 255-260, 発行日 2022-11-04
• 出版者 / 言語: ja
• 出版者: 情報処理学会