CNNモデルを対象とした転移学習モデルにおける訓練データセットのプライバシー保護

• Item type: SIG Technical Reports(1)
• 公開日: 2024-07-18
• タイトル: CNNモデルを対象とした転移学習モデルにおける訓練データセットのプライバシー保護
• タイトル / 言語: en
• タイトル: Privacy protection of training datasets in CNN transfer learning models
• 言語: jpn
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 信州大学大学院総合理工学研究科
• 著者所属: 信州大学工学部
• 著者所属: 信州大学工学部
• 著者所属: 国立情報学研究所
• 著者所属(英): en
• 著者所属(英): Graduate School of Science and Engineering Sinshu University
• 著者所属(英): en
• 著者所属(英): Sinshu University
• 著者所属(英): en
• 著者所属(英): Sinshu University
• 著者所属(英): en
• 著者所属(英): National Institute of Informatics
• 著者名: 勝家, 拓巳; 岡野, 浩三; 小形, 真平; 中島, 震
• 著者名(英): Takumi, Katsuie; Kozo, Okano; Shinpei, Ogata; Shin, Nakajima
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 機械学習の手法の 1 つである転移学習は，訓練済みモデルの知識を利用することで，少量の訓練データでも高精度な機械学習モデルが作成できる技術として注目を集めている．しかし，機械学習モデルは，敵対者が攻撃することで訓練データを抽出できてしまう問題がある．そこで，プライバシー維持機械学習の方法として DP-SGD が開発された．本報告では，DP-SGD とSGD のどちらかまたは両方を用いた 4 ケースの転移学習モデルに対し，メンバーシップ推論攻撃を行い，訓練データが保護されているかどうか確認する．その結果から，ソースモデルの訓練データのプライバシーを保護し転移学習した場合，転移学習はソースモデルの訓練データのプライバシー保護を弱めないが，ターゲットモデルの訓練データのプライバシーは保護されないと分かった．そのため，転移学習時には DP-SGD を用いる必要があると分かった．また，効率よく訓練データのプライバシーが保護された転移学習モデルを作成するには，転移学習時のみに DP-SGD を用いればよいと分かった．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: Transfer learning, one of the machine learning methods, has attracted attention as a technique that can create highly accurate machine learning models with a small amount of training data by using the knowledge of trained models. However, machine learning models have a problem that an attacker can extract the training data. Therefore, DP-SGD was developed as a privacy-preserving machine learning method. In this report, we perform membership inference attacks on four cases of transfer learning models using either or both DP-SGD and SGD to check whether the training data is protected. From the results, we found that when the privacy of the training data of the source model is protected and the transfer learning is performed, the transfer learning does not weaken the privacy protection of the training data of the source model, but the privacy of the training data of the target model is not protected. Therefore, it is necessary to use DP-SGD for transfer learning. In order to efficiently create a transfer learning model with privacy-preserving training data, we found that DP-SGD should be used only for transfer learning.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10112981
• 書誌情報: 研究報告ソフトウェア工学（SE）; 巻 2024-SE-217, 号 1, p. 1-6, 発行日 2024-07-18
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8825
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会