敵対的摂動からの学習に対する理論的説明

• Item type: SIG Technical Reports(1)
• 公開日: 2024-11-22
• タイトル: 敵対的摂動からの学習に対する理論的説明
• タイトル / 言語: en
• タイトル: Theoretical Explanation for Learning from Adversarial Perturbations
• 言語: eng
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 東京大学
• 著者所属: 千葉大学
• 著者所属: 東京大学
• 著者所属(英): en
• 著者所属(英): The University of Tokyo
• 著者所属(英): en
• 著者所属(英): Chiba University
• 著者所属(英): en
• 著者所属(英): The University of Tokyo
• 著者名: 熊野, 創一郎; 計良, 宥志; 山崎, 俊彦
• 著者名(英): Soichiro, Kumano; Hiroshi, Kera; Toshihiko, Yamasaki
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 敵対的サンプルがなぜニューラルネットワークを騙すことができるのか，なぜ異なるネットワーク間で転移するのか，未だ十分な理解はされていない．これを解明するために，幾つかの研究は敵対的摂動がノイズに見えるにもかかわらず，クラスの特徴を含んでいると仮説付けた．この仮説は，誤ってラベル付けされた敵対的サンプル上で訓練されたネットワークが，正しくラベル付けされたテストサンプルに汎化することによって経験的に支持されている．しかしながら，摂動がクラスの特徴をどのように含むのか，どのようにネットワークの汎化に寄与するのか，その理論的理解は不十分である．本研究では二層ニューラルネットワークと互いに直交な訓練サンプルに対して，敵対的摂動からの学習を解析するための理論的枠組みを提供する．我々の結果は，様々な種類の敵対的摂動が汎化に利用可能なクラスの特徴を保持していることを明らかにしている．また摂動から学習が行われた決定境界と，通常のサンプルから学習が行われた決定境界がほとんどの領域で一致することを示す．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: It is not fully understood why adversarial examples can deceive neural networks and transfer between different net- works. To elucidate this, several studies have hypothesized that adversarial perturbations, while appearing as noises, contain class features. This is supported by empirical evidence showing that networks trained on mislabeled adversarial examples can still generalize well to correctly labeled test samples. However, a theoretical understanding of how perturbations include class features and contribute to generalization is limited. In this study, we provide a theoretical framework for understanding learning from perturbations using a one-hidden-layer network trained on mutually orthogonal samples. Our results highlight that various adversarial perturbations, even perturbations of a few pixels, contain sufficient class features for generalization. Moreover, we reveal that the decision boundary when learning from perturbations matches that from standard samples except for specific regions under mild conditions.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10100541
• 書誌情報: 研究報告コンピュータグラフィックスとビジュアル情報学（CG）; 巻 2024-CG-196, 号 10, p. 1-6, 発行日 2024-11-22
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8949
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会