深層強化学習エージェントの振る舞いの操作を目的とした敵対的攻撃とその防御

• Item type: Symposium(1)
• 公開日: 2024-10-15
• タイトル / 言語: ja
• タイトル: 深層強化学習エージェントの振る舞いの操作を目的とした敵対的攻撃とその防御
• タイトル / 言語: en
• タイトル: Targeted Attack and Robust Defense for Behavior Manipulation in Deep Reinforcement Learning
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: AI for Security, Adversarial Attack, Robust Deep Reinforcement Learning, Imitation Learning
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_5794
• 資源タイプ: conference paper
• 著者所属: 東京科学大学
• 著者所属: 筑波大学; RIKEN AIP
• 著者所属: 東京科学大学; RIKEN AIP
• 著者所属(英): en
• 著者所属(英): Tokyo Institute of Technology
• 著者所属(英): en
• 著者所属(英): University of Tsukuba / RIKEN AIP
• 著者所属(英): en
• 著者所属(英): Tokyo Institute of Technology / RIKEN AIP
• 著者名: 山辺, 翔二郎; 福地, 一斗; 佐久間, 淳
• 著者名(英): Shojiro, Yamabe; Kazuto, Fukuchi; Jun, Sakuma
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 深層強化学習エージェントの状態観測に対して敵対的な介入を行うことで，エージェントの振る舞いを指定通りに制御することを目的とした攻撃とその防御手法を提案する．既存の攻撃手法はすべて被害者の方策に対する完全なアクセスを仮定したホワイトボックス攻撃であり，またいくつかの手法は環境特有のヒューリスティックに依存している．本研究では模倣学習を用いることで，被害者の方策へのアクセスを制限したブラックボックスまたはノーボックス設定において，環境特有のヒューリスティックを必要とせずに被害者エージェントを操作する新しい手法を提案する．また，被害者のトラジェクトリの初期であるほど，状態変化に対する方策の行動出力の敏感度が防御性能に与える影響が大きいことを理論的に示す．これに基づき，ロバストな方策を学習する方法を提案する．強化学習ベンチマークでの実証評価により，提案された攻撃と防御手法の有効性を評価する．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: We propose the attack on reinforcement learning agents, where the adversary aims to control the victim's behavior as specified by the adversary by adding adversarial modifications to the victim's state observation and the defense against such an attack. While some attack methods have successfully manipulated the victim agent's behavior, all are white-box attacks that require full access to the victim's policy, and some rely on environment-specific heuristics. Using imitation learning, we propose new methods to manipulate the victim agent in a black-box or no-box setting, which assumes limited access to the victim's policy without requiring environment-specific heuristics. We also show theoretically that the earlier in the trajectory, the more the sensitivity of policy outputs to state changes affects defense performance. Based on this, we propose a method for learning a robust policy. Empirical evaluations on a reinforcement learning benchmark show that our proposed method outperforms the baselines.
• 書誌情報: コンピュータセキュリティシンポジウム2024論文集; p. 1258-1265, 発行日 2024-10-15
• 出版者 / 言語: ja
• 出版者: 情報処理学会