モデル合成に対するプライバシーリスク評価

• Item type: Symposium(1)
• 公開日: 2024-10-15
• タイトル / 言語: ja
• タイトル: モデル合成に対するプライバシーリスク評価
• タイトル / 言語: en
• タイトル: Privacy Risk for Model Merging
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: 置換対称性に基づくモデル合成, モデル合成, メンバーシップ推論攻撃, プライバシリスク
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_5794
• 資源タイプ: conference paper
• 著者所属: NTT社会情報研究所／大阪大学
• 著者所属: NTT社会情報研究所
• 著者所属: NTT社会情報研究所
• 著者所属: NTT社会情報研究所
• 著者所属: NTT社会情報研究所
• 著者所属: NTT社会情報研究所／大阪大学
• 著者所属(英): en
• 著者所属(英): NTT Social Informatics Laboratories / Osaka University
• 著者所属(英): en
• 著者所属(英): NTT Social Informatics Laboratories
• 著者所属(英): en
• 著者所属(英): NTT Social Informatics Laboratories
• 著者所属(英): en
• 著者所属(英): NTT Social Informatics Laboratories
• 著者所属(英): en
• 著者所属(英): NTT Social Informatics Laboratories
• 著者所属(英): en
• 著者所属(英): NTT Social Informatics Laboratories / Osaka University
• 著者名: 岩花, 一輝; 伊東, 燦; 山田, 真徳; 芝原, 俊樹; 山下, 智也; 三浦, 尭之
• 著者名(英): Kazuki, Iwahana; Akira, Ito; Masanori, Yamada; Toshiki, Shibarahara; Tomoya, Yamashita; Takayuki, Miura
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: モデル合成はより良い性能を持つモデルを作るために，異なる初期値で学習されたモデルを1 つに集約する技術である．とくに，ニューラルネットワークが持つ置換対称性に着目した手法(Permutation-based Model Merging, PMM) が，アンサンブルや知識蒸留の基本的な合成手法よりも計算効率が良い手法として注目されている．既存文献では合成後のモデルの精度向上を目的としており，合成後のモデルから漏れる学習データのプライバシーリスクの低減については考慮していない．本稿では，機械学習モデルへのプライバシー評価としてよく用いられるメンバーシップ推論攻撃を通じて，PMM のプライバシーシリスクを評価する．まず，より正確にPMM での漏洩リスクを評価するために，PMM に特化した新たなメンバーシップ攻撃を提案する．既存の攻撃手法の実験評価を通じて，PMM はほとんどの学習データに対してプライバシーリスクを低減させることを明らかにした．一方，提案手法によりPMM によって一部のデータが脆弱になっていることを示した．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: Model merging techniques, such as ensemble or knowledge distillation, aggregate multiple models trained with different seeds into one to obtain the model with better performance or to reduce the inference cost. Especially, model merging based on the permutation symmetry of neural networks is gaining attention as a more computationally efficient method than ensemble and knowledge distillation. Previous permutationbased model merging (PMM) focuses only on how to get a post-merged model with better performance, and privacy risks from the post-merged model have been unrevealed. In this paper, we first analyze the privacy risk of PMM with membership inference attacks, which are often utilized to audit the membership leakage against machine learning algorithms. We design the membership inference attack specialized in PMM settings; and can evaluate more accurate membership leakage. Our experimental results show that PMM decreases the membership risk of pre-merged models’ training data, and then less membership information about data used at merging is leaked than with a basic method. On the other hand, the proposed attack method indicates more membership leakage than previous attacks, which indicates that PMM leaks particular membership information about the training data.
• 書誌情報: コンピュータセキュリティシンポジウム2024論文集; p. 690-697, 発行日 2024-10-15
• 出版者 / 言語: ja
• 出版者: 情報処理学会