公開されたAIモデルに潜むリスクと新たな攻撃手法

• Item type: Symposium(1)
• 公開日: 2024-10-15
• タイトル / 言語: ja
• タイトル: 公開されたAIモデルに潜むリスクと新たな攻撃手法
• タイトル / 言語: en
• タイトル: On the Risks Inherent in Publicly Released AI Models \\\\and New Attack Techniques
• 言語: jpn
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_5794
• 資源タイプ: conference paper
• 著者所属: 早稲田大学
• 著者所属: 早稲田大学／理研AIP
• 著者所属: NTTコミュニケーションズ株式会社
• 著者所属: 早稲田大学／NICT／理研AIP
• 著者所属(英): en
• 著者所属(英): Waseda University
• 著者所属(英): en
• 著者所属(英): Waseda University / RIKEN AIP
• 著者所属(英): en
• 著者所属(英): NTT Communications
• 著者所属(英): en
• 著者所属(英): Waseda University / NICT / RIKEN AIP
• 著者名: 若井, 琢朗; 戸田, 宇亮; 久保, 佑介; 森, 達哉
• 著者名(英): Takuro, Wakai; Takaaki, Toda; Yusuke, Kubo; Tatsuya, Mori
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 本論文は，公開されることを前提としたAIモデルに対する新たな攻撃手法として，「Weights Injection攻撃」と「Tensor Trigger攻撃」を提案し，その有効性を実証することを狙いとする．; Weights Injection攻撃は，深層学習モデルの重みに悪意あるコードを埋め込み，推論時にそのコードが実行されるようにする手法であり，具体的には，精度に影響しない範囲でモデルを構成する約120万個のパラメータのうち，わずか36個を書き換えることで攻撃が成功することを明らかにした．一方，Tensor Trigger攻撃は，特定のトリガー画像を入力することで悪意あるコードが実行される攻撃手法であり，生成されたトリガー画像によって攻撃が実行される確率が高かったが，特に24ビット幅のコードを用いた攻撃では成功率が向上することが確認された．体系的な実験評価の結果，これらの攻撃手法が高い確率で成功し，たとえばC2エージェント攻撃では640,000ビットのコード埋め込みにもかかわらず，推論精度に影響を与えずに攻撃が成功することが示された．また，これらの攻撃がアンチウィルスソフトウェアの検知を回避するステルス性も有していることを確認した．最後に，これらの攻撃に対する防御手法や検知手法についても議論する．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: This paper aims to propose and demonstrate the effectiveness of two novel attack techniques targeting AI models intended for public release: the ``Weights Injection Attack'' and the ``Tensor Trigger Attack.'' The Weights Injection Attack involves embedding malicious code into the weights of a deep neural network model, with the key finding that altering as few as 36 out of approximately 1.2 million parameters can successfully execute the attack without affecting model accuracy. On the other hand, the Tensor Trigger Attack involves executing malicious code through the input of a specific trigger image. It was observed that the attack had a high success rate, particularly when using 24-bit wide code, which further improved the success rate. Systematic experimental evaluation demonstrated that these attack methods are highly effective, as evidenced by the success of the C2 agent attack, which embedded 640,000 bits of code without compromising inference accuracy. Additionally, it was confirmed that these attacks possess stealth capabilities that allow them to evade detection by antivirus software. Finally, the paper discusses potential defense mechanisms and detection methods to counter these attacks.
• 書誌情報: コンピュータセキュリティシンポジウム2024論文集; p. 1250-1257, 発行日 2024-10-15
• 出版者 / 言語: ja
• 出版者: 情報処理学会