WEKO3
アイテム
大規模言語モデルの利活用におけるインジェクション攻撃に関する脅威の体系化
https://ipsj.ixsq.nii.ac.jp/records/240771
https://ipsj.ixsq.nii.ac.jp/records/2407716fd7f504-117d-4609-9e28-7e56a80080cf
| 名前 / ファイル | ライセンス | アクション |
|---|---|---|
IPSJ-CSS2024025.pdf (961.7 kB)
2026年10月15日からダウンロード可能です。
|
Copyright (c) 2024 by the Information Processing Society of Japan
|
|
| 非会員：¥660, IPSJ:学会員：¥330, CSEC:会員：¥0, SPT:会員：¥0, DLIB:会員：¥0 | ||
| Item type | Symposium(1) | |||||||||
|---|---|---|---|---|---|---|---|---|---|---|
| 公開日 | 2024-10-15 | |||||||||
| タイトル | ||||||||||
| 言語 | ja | |||||||||
| タイトル | 大規模言語モデルの利活用におけるインジェクション攻撃に関する脅威の体系化 | |||||||||
| タイトル | ||||||||||
| 言語 | en | |||||||||
| タイトル | Systematizing Threats of Injection Attacks on Applications of Large Language Models | |||||||||
| 言語 | ||||||||||
| 言語 | jpn | |||||||||
| キーワード | ||||||||||
| 主題Scheme | Other | |||||||||
| 主題 | 大規模言語モデル，インジェクション攻撃，脅威の体系化 | |||||||||
| 資源タイプ | ||||||||||
| 資源タイプ識別子 | http://purl.org/coar/resource_type/c_5794 | |||||||||
| 資源タイプ | conference paper | |||||||||
| 著者所属 | ||||||||||
| NTT社会情報研究所 | ||||||||||
| 著者所属 | ||||||||||
| NTT社会情報研究所 | ||||||||||
| 著者所属(英) | ||||||||||
| en | ||||||||||
| NTT Social Informatics Laboratories | ||||||||||
| 著者所属(英) | ||||||||||
| en | ||||||||||
| NTT Social Informatics Laboratories | ||||||||||
| 著者名 |
青島, 達大
× 青島, 達大
× 秋山, 満昭
|
|||||||||
| 著者名(英) |
Tatsuhiro, Aoshima
× Tatsuhiro, Aoshima
× Mitsuaki, Akiyama
|
|||||||||
| 論文抄録 | ||||||||||
| 内容記述タイプ | Other | |||||||||
| 内容記述 | ChatGPTの登場により，大規模言語モデル(LLM)を活用したアプリケーション開発が広がりつつある．LLMは，与えられた文字列に続く文字を予測する機械学習モデルである．そのため，LLMへ指示を与えるには，アプリとしての仕事に関する指示とユーザーからのクエリをひとつの文字列として結合する必要がある．このとき，攻撃者による指示がLLMへ入力される可能性があり，LLMが悪意のある行為を実行してしまうインジェクション攻撃が成立する危険性がある．本研究では，LLMの安全な利活用の実現へ向けて，インジェクション攻撃対策に注力した脅威の体系化を行い，攻撃手法から対策の優先付けが可能となるフレームワークを与える．この観点で，60個以上の攻撃事例を収集し，9個の攻撃手法へ体系的に整理した．また，攻撃手法から攻撃者の意図を推定し，9個の緩和策から優先すべき対策を検討できる構成とした．本論文では，サイバーセキュリティ分野における専門家らによる評価を実施した結果も報告し，今後の課題も整理する． | |||||||||
| 論文抄録(英) | ||||||||||
| 内容記述タイプ | Other | |||||||||
| 内容記述 | After the advent of ChatGPT, more applications are developed using Large Language Models (LLM). An LLM is a machine-learning model that predicts a character after a given string. An LLM application takes one input string, concatenating the description of the task and a user query. In this case, an attacker can inject its instructions into LLMs. Hence, LLM would execute malicious tasks, which leads to injection attacks. In this research, we systematize threats focusing on injection attacks to realize LLM safety and provide a framework supporting the prioritization of possible countermeasures from the attack techniques used. It consists of more than 60 attack examples, then categorized into nine techniques. Then, users can infer the attacker's tactics from the techniques taken and consider which countermeasure should be employed from the nine mitigations. In this paper, we show the results of evaluations by experts in cyber security and discuss future works. | |||||||||
| 書誌情報 |
コンピュータセキュリティシンポジウム2024論文集 p. 185-192, 発行日 2024-10-15 |
|||||||||
| 出版者 | ||||||||||
| 言語 | ja | |||||||||
| 出版者 | 情報処理学会 | |||||||||
