複利型強化学習の枠組みと応用

• Item type: Journal(1)
• 公開日: 2011-12-15
• タイトル: 複利型強化学習の枠組みと応用
• タイトル / 言語: en
• タイトル: Compound Reinforcement Learning: Framework and Application
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: 特集：情報爆発時代におけるIT基盤技術
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_6501
• 資源タイプ: journal article
• 著者所属: 中部大学
• 著者所属: 三菱東京UFJ銀行
• 著者所属: 東京大学／JSTさきがけ
• 著者所属: 東京大学
• 著者所属(英): en
• 著者所属(英): Chubu University
• 著者所属(英): en
• 著者所属(英): Bank of Tokyo-Mitsubishi UFJ, Ltd.
• 著者所属(英): en
• 著者所属(英): The University of Tokyo / JST PRESTO
• 著者所属(英): en
• 著者所属(英): The University of Tokyo
• 著者名: 松井, 藤五郎; 後藤卓; 和泉, 潔; 陳ユ
• 著者名(英): Tohgoroh, Matsui; Takashi, Goto; Kiyoshi, Izumi; Yu, Chen
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 本論文では，強化学習において複利リターンを最大化する複利型強化学習の枠組みを示し，ファイナンス分野のタスクへの応用例を示す．複利型強化学習は，報酬の代わりにリターンがマルコフ性を満たすリターン型MDPを対象とする．複利型強化学習では，二重指数的割引と投資比率の概念を導入し，対数をとることによって従来の強化学習と同様の方法で割引複利リターンを最大化する．続いて，従来の強化学習のアルゴリズムであるQ学習とOnPSを複利型に拡張した複利型Q学習と複利型OnPSのアルゴリズムを示す．また，3本腕バンディット問題に対する実験結果と日本国債取引問題への応用例を示し，複利型強化学習の有効性を確認する．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: This paper describes an extended framework of reinforcement learning, called compound reinforcement learning, which maximizes the compound return and shows its application to financial tasks. Compound reinforcement learning is designed for return-based MDP in which an agent observes the return instead of the rewards. We introduce double exponential discounting and betting fraction into the framework and then we can write the logarithm of double-exponentially discounted compound return as the sum of a polynomially discounted logarithm of simple gross return. In this paper, we show two algorithms of compound reinforcement learning: compound Q-learning and compound OnPS. We also show the experimental results using 3-armed bandit and an application to a financial task: Japanese government bond trading.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN00116647
• 書誌情報: 情報処理学会論文誌; 巻 52, 号 12, p. 3300-3308, 発行日 2011-12-15
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 1882-7764