@inproceedings{oai:ipsj.ixsq.nii.ac.jp:00240840,
 author = {岩花, 一輝 and 伊東, 燦 and 山田, 真徳 and 芝原, 俊樹 and 山下, 智也 and 三浦, 尭之 and Kazuki, Iwahana and Akira, Ito and Masanori, Yamada and Toshiki, Shibarahara and Tomoya, Yamashita and Takayuki, Miura},
 book = {コンピュータセキュリティシンポジウム2024論文集},
 month = {Oct},
 note = {モデル合成はより良い性能を持つモデルを作るために，異なる初期値で学習されたモデルを1 つに集約する技術である．とくに，ニューラルネットワークが持つ置換対称性に着目した手法(Permutation-based Model Merging, PMM) が，アンサンブルや知識蒸留の基本的な合成手法よりも計算効率が良い手法として注目されている．既存文献では合成後のモデルの精度向上を目的としており，合成後のモデルから漏れる学習データのプライバシーリスクの低減については考慮していない．本稿では，機械学習モデルへのプライバシー評価としてよく用いられるメンバーシップ推論攻撃を通じて，PMM のプライバシーシリスクを評価する．まず，より正確にPMM での漏洩リスクを評価するために，PMM に特化した新たなメンバーシップ攻撃を提案する．既存の攻撃手法の実験評価を通じて，PMM はほとんどの学習データに対してプライバシーリスクを低減させることを明らかにした．一方，提案手法によりPMM によって一部のデータが脆弱になっていることを示した．, Model merging techniques, such as ensemble or knowledge distillation, aggregate multiple models trained with different seeds into one to obtain the model with better performance or to reduce the inference cost. Especially, model merging based on the permutation symmetry of neural networks is gaining attention as a more computationally efficient method than ensemble and knowledge distillation. Previous permutationbased model merging (PMM) focuses only on how to get a post-merged model with better performance, and privacy risks from the post-merged model have been unrevealed. In this paper, we first analyze the privacy risk of PMM with membership inference attacks, which are often utilized to audit the membership leakage against machine learning algorithms. We design the membership inference attack specialized in PMM settings
and can evaluate more accurate membership leakage. Our experimental results show that PMM decreases the membership risk of pre-merged models’ training data, and then less membership information about data used at merging is leaked than with a basic method. On the other hand, the proposed attack method indicates more membership leakage than previous attacks, which indicates that PMM leaks particular membership information about the training data.},
 pages = {690--697},
 publisher = {情報処理学会},
 title = {モデル合成に対するプライバシーリスク評価},
 year = {2024}
}