2026-03-15T21:27:43Z https://ipsj.ixsq.nii.ac.jp/oai

oai:ipsj.ixsq.nii.ac.jp:00240771 2025-03-06T05:10:07Z 6164:6165:6462:11854

大規模言語モデルの利活用におけるインジェクション攻撃に関する脅威の体系化 Systematizing Threats of Injection Attacks on Applications of Large Language Models 青島, 達大 秋山, 満昭 Tatsuhiro, Aoshima Mitsuaki, Akiyama 大規模言語モデル，インジェクション攻撃，脅威の体系化 ChatGPTの登場により，大規模言語モデル(LLM)を活用したアプリケーション開発が広がりつつある．LLMは，与えられた文字列に続く文字を予測する機械学習モデルである．そのため，LLMへ指示を与えるには，アプリとしての仕事に関する指示とユーザーからのクエリをひとつの文字列として結合する必要がある．このとき，攻撃者による指示がLLMへ入力される可能性があり，LLMが悪意のある行為を実行してしまうインジェクション攻撃が成立する危険性がある．本研究では，LLMの安全な利活用の実現へ向けて，インジェクション攻撃対策に注力した脅威の体系化を行い，攻撃手法から対策の優先付けが可能となるフレームワークを与える．この観点で，60個以上の攻撃事例を収集し，9個の攻撃手法へ体系的に整理した．また，攻撃手法から攻撃者の意図を推定し，9個の緩和策から優先すべき対策を検討できる構成とした．本論文では，サイバーセキュリティ分野における専門家らによる評価を実施した結果も報告し，今後の課題も整理する． After the advent of ChatGPT, more applications are developed using Large Language Models (LLM). An LLM is a machine-learning model that predicts a character after a given string. An LLM application takes one input string, concatenating the description of the task and a user query. In this case, an attacker can inject its instructions into LLMs. Hence, LLM would execute malicious tasks, which leads to injection attacks. In this research, we systematize threats focusing on injection attacks to realize LLM safety and provide a framework supporting the prioritization of possible countermeasures from the attack techniques used. It consists of more than 60 attack examples, then categorized into nine techniques. Then, users can infer the attacker's tactics from the techniques taken and consider which countermeasure should be employed from the nine mitigations. In this paper, we show the results of evaluations by experts in cyber security and discuss future works. conference paper 情報処理学会 2024-10-15 application/pdf コンピュータセキュリティシンポジウム2024論文集 185 192 https://ipsj.ixsq.nii.ac.jp/record/240771/files/IPSJ-CSS2024025.pdf jpn