方策勾配法による静的局面評価関数の強化学習についての一考察

• Item type: Symposium(1)
• 公開日: 2012-11-09
• タイトル: 方策勾配法による静的局面評価関数の強化学習についての一考察
• タイトル / 言語: en
• タイトル: Learning Static Evaluation Functions Based on Policy Gradient Reinforcement Learning
• 言語: jpn
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_5794
• 資源タイプ: conference paper
• 著者所属: 芝浦工業大学工学部情報工学科
• 著者所属: (株) コスモ・ウェブ
• 著者所属(英): en
• 著者所属(英): Shibaura Institute of Technology
• 著者所属(英): en
• 著者所属(英): en
• 著者所属(英): Cosmoweb Co., Ltd.
• 著者名: 五十嵐, 治一; 森岡, 祐一; 山本, 一将
• 著者名(英): Harukazu, Igarashi; Yuichi, Morioka; Kazumasa, Yamamoto
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 本論文では強化学習の一手法である方策勾配法をコンピュータ将棋に適用する際に，全leaf 局面の静的局面評価値をその局面への遷移確率値で重み付けた期待値を用いた指し手評価方式を提案する．探索木の各ノードにおける指し手の選択としてBoltzmann 分布に基づく確率的戦略を採用すると静的局面評価関数に含まれるパラメータの学習則が再帰的に計算できる．しかしながら，処理対象とするleaf 局面数が大幅に増加するのでいくつかの近似解法も考案した．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: This paper applies policy gradient reinforcement learning to shogi. We propose a move’s evaluation function, which is defined by the expectation of the values of all leaf nodes produced by the move in a search tree, that is weighted by the transition probabilities to the leaf nodes from the root node produced by the move. Boltzmann distribution function gives the probabilities of taking branches in a search tree instead of the minimax strategy. The learning rules of the parameters in the static evaluation function of the states can be calculated recursively. Since the number of leaf nodes for evaluation increases substantially, we also consider approximation methods to reduce the computation time.
• 書誌情報: ゲームプログラミングワークショップ2012論文集; 巻 2012, 号 6, p. 118-121, 発行日 2012-11-09
• 出版者 / 言語: ja
• 出版者: 情報処理学会