2026-04-17T11:38:41Z https://ipsj.ixsq.nii.ac.jp/oai

oai:ipsj.ixsq.nii.ac.jp:00213275 2025-01-19T17:12:36Z 934:1022:10454:10703

分布型強化学習を用いたポートフォリオマネジメントにおける低リスク投資行動の学習 Learning Low-risk Investment Actions Using Distributional Reinforcement Learning for Portfolio Management Problem 佐藤, 葉介 張, 建偉 Yosuke, Sato Jianwei, Zhang [研究論文] 時系列データ，分布型強化学習，低リスク投資行動，ポートフォリオマネジメント 近年，金融市場における投資行動を深層学習により獲得する研究がさかんである．金融市場は景気や政局など多くの複雑な要因により変動するため，確実な取引戦略の構築が困難である．一方，分布型強化学習（DRL）は強化学習における行動価値関数を離散分布に拡張した手法で，とりうる行動により期待されるQ値を分布で表すことで単一のQ値よりも高い表現力を持つ．本研究では，ポートフォリオマネジメントにおいて保有する資産価値が低下するリスクを防ぎつつ利益を最大化させるような投資行動をDRLを用いて学習する手法を提案する．10年分の日経225に含まれる銘柄のヒストリカルデータを用いて実験を行い，DRLを用いた提案手法の方が比較手法のDQNより評価値の標準偏差について優れていたため，低リスクな投資行動を学習できたといえる． In recent years, investment strategies on the financial market using deep learning have attracted a significant amount of research attention. Since the financial market is influenced by complex factors (e.g., economy, politics), it is difficult to construct a certain investment strategy. On the other hand, Distributional Reinforcement Learning (DRL) expands the action-value function to a discrete distribution in reinforcement learning, which expresses expected Q values for all actions as a distribution and thus has higher representation power than single Q values. In this study, we focus on the portfolio management problem and apply DRL to construct an investment trading model that is low-risk and maximizes profit. This model has been backtested on Nikkei 225 dataset over ten years and compared with Deep Q Network (DQN). The experimental results show that the proposed DRL-based method can learn low-risk actions outperforming the compared DQN-based method in terms of the standard deviations of evaluation values. journal article 情報処理学会 2021-10-14 application/pdf 情報処理学会論文誌データベース（TOD） 4 14 61 69 1882-7799 AA11464847 https://ipsj.ixsq.nii.ac.jp/record/213275/files/IPSJ-TOD1404008.pdf jpn