@techreport{oai:ipsj.ixsq.nii.ac.jp:00211048,
 author = {三浦, 尭之 and 権, 英哲 and 長谷川, 聡},
 issue = {26},
 month = {May},
 note = {近年，深層学習をはじめとした機械学習の社会への浸透を背景に説明可能な AI に対する期待が高まっている．画像分類などでは，分類結果に対して重要だったピクセルをハイライトする勾配ベースの説明が盛んに研究されており，Sundararajan らによって提案された Integrated Gradient はGoogle Cloud などでサービスとして実装されている．一方で，最もシンプルな勾配ベースの説明である Vanilla Gradient は，訓練済みモデル保護の観点から脆弱性になりうるという報告がなされている．具体的には，入出力の情報から訓練済みモデルを盗み出す Model Extraction 攻撃が，出力に Vanilla Gradient による説明が加わることで効率的にできるという研究結果が報告されている．本研究では，活性化関数に ReLU が用いられているニューラルネットワークが Integrated Gradient による説明も出力する際，その情報から Vanilla Gradient の情報を復元できることを示した．これは，Integrated Gradeint による説明がついたモデルに対しても，説明が脆弱性になりうることを意味し，機械学習モデルのオープンな利活用を推進するにあたって検討しなければならない問題である．},
 title = {ReLUニューラルネットワークにおけるIntegrated GradientのVanilla Gradientへの帰着},
 year = {2021}
}