Atari 2600環境におけるDecision Transformerの事前学習手法

• Item type: Symposium(1)
• 公開日: 2023-11-10
• タイトル: Atari 2600環境におけるDecision Transformerの事前学習手法
• タイトル / 言語: en
• タイトル: Pre-Training Methods for Decision Transformers in the Atari 2600 Environment
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: 強化学習
• キーワード / 主題Scheme: Other
• キーワード / 主題: メタ学習
• キーワード / 主題Scheme: Other
• キーワード / 主題: 事前学習
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_5794
• 資源タイプ: conference paper
• 著者所属: 東京大学大学院 情報理工学系研究科 電子情報学専攻
• 著者所属: 東京大学大学院 情報理工学系研究科 電子情報学専攻
• 著者所属(英): en
• 著者所属(英): Graduate School of Information Science and Technology, The University of Tokyo
• 著者所属(英): en
• 著者所属(英): Graduate School of Information Science and Technology, The University of Tokyo
• 著者名: 岩瀬, 諒; 鶴岡, 慶雅
• 著者名(英): Ryo, Iwase; Yoshimasa, Tsuruoka
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 近年，自然言語処理や画像処理の分野などの分野を中心に，大規模データセットによる機械学習モデルの事前学習に注目が集まっている．事前学習を行なったモデルは，下流タスクでファインチューニングすることで高い性能を発揮することができる．強化学習の分野においても，オフライン強化学習手法の一つである Decision Transformer を複数のタスクで事前学習することにより，新規タスクにおける性能が向上することが知られている．しかし，その学習の方法は下流タスクと同一であることが多く，特に画像などの高次元の状態を扱う環境において，どのような事前学習が下流タスクの性能の改善に有効であるかは詳しく調べられていない．本研究では，画像入力のゲーム環境である Atari 2600 のデータセットを利用して，Decision Transformer の事前学習手法の比較を行なった．すると，画像表現のみの事前学習や次フレーム予測によるダイナミクスの事前学習でも事前学習無しのモデルに比べて性能が改善し，行動の予測による事前学習に近い性能を発揮することが確認できた．さらに，データセットを人工生成したフラクタル画像や YouTube ビデオで代替した事前学習を行った．その結果，YouTube のビデオデータセットによる学習では事前学習無しのモデルと同等かそれ以下の性能であったが，フラクタルデータセットによる事前学習においては性能の改善が見られた．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: In recent years, pre-training machine learning models on large datasets has received considerable attention, especially in the fields of natural language and image processing. These pre-trained models are often fine-tuned for downstream tasks to achieve high performance. In reinforcement learning, although pre-training decision transformers (DTs) has been shown to improve performance on novel tasks, the methods used are typically similar to those used for downstream tasks. To date, there has been limited research on which pre-training techniques for DT are most effective for improving performance in high-dimensional state spaces, such as image-based environments. In this study, we investigate different pre-training methods for DT using the Atari 2600, a set of game environments with image-based input. Our results show that both pre-training only the image representation and pre-training the dynamics via next-frame prediction outperformed the non-pre-trained model. Interestingly, these approaches yielded performance comparable to that achieved by pre-training with action prediction. In addition, we performed pre-training by replacing the dataset with artificially generated fractal images and YouTube videos. We found that the model pre-trained on the YouTube dataset did not show improved performance, while the model trained on the fractal dataset showed improvements in downstream tasks.
• 書誌情報: ゲームプログラミングワークショップ2023論文集; 巻 2023, p. 11-17, 発行日 2023-11-10
• 出版者 / 言語: ja
• 出版者: 情報処理学会