WEKO3
アイテム
大規模言語モデルの利活用におけるインジェクション攻撃に関する脅威の体系化
https://doi.org/10.20729/0002004341
https://doi.org/10.20729/00020043419313daed-da43-480b-9e0a-b3bfa649606a
| 名前 / ファイル | ライセンス | アクション |
|---|---|---|
IPSJ-JNL6609020.pdf (713.1 KB)
2027年9月15日からダウンロード可能です。
|
Copyright (c) 2025 by the Information Processing Society of Japan
|
|
| 非会員：¥660, IPSJ:学会員：¥330, 論文誌:会員：¥0, DLIB:会員：¥0 | ||
| Item type | Journal(1) | |||||||||
|---|---|---|---|---|---|---|---|---|---|---|
| 公開日 | 2025-09-15 | |||||||||
| タイトル | ||||||||||
| 言語 | ja | |||||||||
| タイトル | 大規模言語モデルの利活用におけるインジェクション攻撃に関する脅威の体系化 | |||||||||
| タイトル | ||||||||||
| 言語 | en | |||||||||
| タイトル | Systematizing Threats of Injection Attacks on Applications of Large Language Models | |||||||||
| 言語 | ||||||||||
| 言語 | jpn | |||||||||
| キーワード | ||||||||||
| 主題Scheme | Other | |||||||||
| 主題 | [特集:AI社会を安全にするコンピュータセキュリティ技術（推薦論文，特選論文）] 大規模言語モデル，インジェクション攻撃，脅威の体系化 | |||||||||
| 資源タイプ | ||||||||||
| 資源タイプ識別子 | http://purl.org/coar/resource_type/c_6501 | |||||||||
| 資源タイプ | journal article | |||||||||
| ID登録 | ||||||||||
| ID登録 | 10.20729/0002004341 | |||||||||
| ID登録タイプ | JaLC | |||||||||
| 著者所属 | ||||||||||
| NTT社会情報研究所 | ||||||||||
| 著者所属 | ||||||||||
| NTT社会情報研究所 | ||||||||||
| 著者所属(英) | ||||||||||
| en | ||||||||||
| NTT Social Informatics Laboratories | ||||||||||
| 著者所属(英) | ||||||||||
| en | ||||||||||
| NTT Social Informatics Laboratories | ||||||||||
| 著者名 |
青島,達大
× 青島,達大
× 秋山,満昭
|
|||||||||
| 著者名(英) |
Tatsuhiro Aoshima
× Tatsuhiro Aoshima
× Mitsuaki Akiyama
|
|||||||||
| 論文抄録 | ||||||||||
| 内容記述タイプ | Other | |||||||||
| 内容記述 | ChatGPTの登場により，大規模言語モデル(LLM)を活用したアプリケーション開発が広がりつつある．LLMは，与えられた文字列に続く文字を予測する機械学習モデルである．そのため，LLMへ指示を与えるには，アプリとしての仕事に関する指示とユーザーからのクエリを1つの文字列として結合する必要がある．このとき，攻撃者による指示がLLMへ入力される可能性があり，LLMが悪意のある行為を実行してしまうインジェクション攻撃が成立する危険性がある．我々の研究目的は，LLMの安全な利活用の実現へ向けて，インジェクション攻撃対策に注力した脅威の体系化を行い，攻撃手法から対策の優先付けが可能となるフレームワークを与えることにある．この観点で，72個の攻撃事例を収集し，9個の攻撃手法へ体系的に整理した．また，攻撃手法から攻撃者の意図を推定し，9個の緩和策から優先すべき対策を検討できる構成とした．本論文では，利用体験と設計方針を検証するという目的で，サイバーセキュリティ分野の専門家らによる評価を実施した結果も報告し，今後の課題も整理する． | |||||||||
| 論文抄録(英) | ||||||||||
| 内容記述タイプ | Other | |||||||||
| 内容記述 | After ChatGPT emerged, more applications have been developed using Large Language Models (LLM). An LLM is a machine-learning model that predicts a character following a given string. An LLM application takes one input string, concatenating the description of the task and a user query. In this case, an attacker can inject its instructions into LLMs. Hence, LLM would execute malicious tasks, which leads to injection attacks. Our research goal is to systematize threats focusing on injection attacks to realize LLM application safety and provide a framework supporting the prioritization of possible mitigations from the attack techniques. It consists of 72 attack examples, then categorized into nine techniques. Then, users can infer the attacker's tactics from the techniques taken and consider which of the nine mitigations should be employed. In this paper, to validate user experience and design policy, we show the results of evaluations by experts in cyber security and discuss future works. | |||||||||
| 書誌レコードID | ||||||||||
| 収録物識別子タイプ | NCID | |||||||||
| 収録物識別子 | AN00116647 | |||||||||
| 書誌情報 |
情報処理学会論文誌 巻 66, 号 9, p. 1235-1246, 発行日 2025-09-15 |
|||||||||
| ISSN | ||||||||||
| 収録物識別子タイプ | ISSN | |||||||||
| 収録物識別子 | 1882-7764 | |||||||||
| 公開者 | ||||||||||
| 言語 | ja | |||||||||
| 出版者 | 情報処理学会 | |||||||||
