分布型強化学習を用いたポートフォリオマネジメントにおける低リスク投資行動の学習

• Item type: Trans(1)
• 公開日: 2021-10-14
• タイトル: 分布型強化学習を用いたポートフォリオマネジメントにおける低リスク投資行動の学習
• タイトル / 言語: en
• タイトル: Learning Low-risk Investment Actions Using Distributional Reinforcement Learning for Portfolio Management Problem
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: [研究論文] 時系列データ，分布型強化学習，低リスク投資行動，ポートフォリオマネジメント
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_6501
• 資源タイプ: journal article
• 著者所属: 岩手大学
• 著者所属: 岩手大学
• 著者所属(英): en
• 著者所属(英): Iwate University
• 著者所属(英): en
• 著者所属(英): Iwate University
• 著者名: 佐藤, 葉介; 張, 建偉
• 著者名(英): Yosuke, Sato; Jianwei, Zhang
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 近年，金融市場における投資行動を深層学習により獲得する研究がさかんである．金融市場は景気や政局など多くの複雑な要因により変動するため，確実な取引戦略の構築が困難である．一方，分布型強化学習（DRL）は強化学習における行動価値関数を離散分布に拡張した手法で，とりうる行動により期待されるQ値を分布で表すことで単一のQ値よりも高い表現力を持つ．本研究では，ポートフォリオマネジメントにおいて保有する資産価値が低下するリスクを防ぎつつ利益を最大化させるような投資行動をDRLを用いて学習する手法を提案する．10年分の日経225に含まれる銘柄のヒストリカルデータを用いて実験を行い，DRLを用いた提案手法の方が比較手法のDQNより評価値の標準偏差について優れていたため，低リスクな投資行動を学習できたといえる．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: In recent years, investment strategies on the financial market using deep learning have attracted a significant amount of research attention. Since the financial market is influenced by complex factors (e.g., economy, politics), it is difficult to construct a certain investment strategy. On the other hand, Distributional Reinforcement Learning (DRL) expands the action-value function to a discrete distribution in reinforcement learning, which expresses expected Q values for all actions as a distribution and thus has higher representation power than single Q values. In this study, we focus on the portfolio management problem and apply DRL to construct an investment trading model that is low-risk and maximizes profit. This model has been backtested on Nikkei 225 dataset over ten years and compared with Deep Q Network (DQN). The experimental results show that the proposed DRL-based method can learn low-risk actions outperforming the compared DQN-based method in terms of the standard deviations of evaluation values.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AA11464847
• 書誌情報: 情報処理学会論文誌データベース（TOD）; 巻 14, 号 4, p. 61-69, 発行日 2021-10-14
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 1882-7799
• 出版者 / 言語: ja
• 出版者: 情報処理学会