条件付き相互情報量の最小化による分布外汎化手法の性能低下について

• Item type: SIG Technical Reports(1)
• 公開日: 2023-06-22
• タイトル: 条件付き相互情報量の最小化による分布外汎化手法の性能低下について
• タイトル / 言語: en
• タイトル: On performance degradation of a method by minimizing the conditional mutual information for the out-of-distribution generalization
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: IBISML
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 京都大学大学院情報学研究科
• 著者所属: 京都大学大学院情報学研究科
• 著者所属(英): en
• 著者所属(英): Graduate School of Informatics, Kyoto University
• 著者所属(英): en
• 著者所属(英): Graduate School of Informatics, Kyoto University
• 著者名: 高橋, 元気; 田中, 利幸
• 著者名(英): Genki, Takahashi; Toshiyuki, Tanaka
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 分布外汎化問題では，訓練時・テスト時のデータ生成分布の変化の度合いが少ない程モデルの分布外汎化誤差は小さいと期待される．本研究では，任意に小さな KL 情報量の値を持つ二つの分布が，任意に大きな相互情報量の差を取り得る設定を考察した．得られた結果は，条件付き相互情報量最小化による分布外汎化手法が，訓練時・テスト時の分布の変化の度合いが小さくても，分布外汎化誤差を著しく増加させ得ることを示唆している．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: In the out-of-distribution generalization problem, the smaller the degree of change in the data generating distribution during training and testing, the smaller the out-of-distribution generalization error of the model is expected to be. In this study, we devised a setting in which two distributions with an arbitrarily small KL divergence value can have an arbitrarily large difference in mutual information. This result suggests that out-of-dis- tribution generalization methods based on conditional mutual information minimization can significantly increase the out-of-distribution generalization error even when the degree of change in the data generating distribution during training and testing is small.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10505667
• 書誌情報: 研究報告数理モデル化と問題解決（MPS）; 巻 2023-MPS-143, 号 60, p. 1-7, 発行日 2023-06-22
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8833
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会