@article{oai:ipsj.ixsq.nii.ac.jp:02004341, author = {青島,達大 and 秋山,満昭 and Tatsuhiro Aoshima and Mitsuaki Akiyama}, issue = {9}, journal = {情報処理学会論文誌}, month = {Sep}, note = {ChatGPTの登場により,大規模言語モデル(LLM)を活用したアプリケーション開発が広がりつつある.LLMは,与えられた文字列に続く文字を予測する機械学習モデルである.そのため,LLMへ指示を与えるには,アプリとしての仕事に関する指示とユーザーからのクエリを1つの文字列として結合する必要がある.このとき,攻撃者による指示がLLMへ入力される可能性があり,LLMが悪意のある行為を実行してしまうインジェクション攻撃が成立する危険性がある.我々の研究目的は,LLMの安全な利活用の実現へ向けて,インジェクション攻撃対策に注力した脅威の体系化を行い,攻撃手法から対策の優先付けが可能となるフレームワークを与えることにある.この観点で,72個の攻撃事例を収集し,9個の攻撃手法へ体系的に整理した.また,攻撃手法から攻撃者の意図を推定し,9個の緩和策から優先すべき対策を検討できる構成とした.本論文では,利用体験と設計方針を検証するという目的で,サイバーセキュリティ分野の専門家らによる評価を実施した結果も報告し,今後の課題も整理する., After ChatGPT emerged, more applications have been developed using Large Language Models (LLM). An LLM is a machine-learning model that predicts a character following a given string. An LLM application takes one input string, concatenating the description of the task and a user query. In this case, an attacker can inject its instructions into LLMs. Hence, LLM would execute malicious tasks, which leads to injection attacks. Our research goal is to systematize threats focusing on injection attacks to realize LLM application safety and provide a framework supporting the prioritization of possible mitigations from the attack techniques. It consists of 72 attack examples, then categorized into nine techniques. Then, users can infer the attacker's tactics from the techniques taken and consider which of the nine mitigations should be employed. In this paper, to validate user experience and design policy, we show the results of evaluations by experts in cyber security and discuss future works.}, pages = {1235--1246}, title = {大規模言語モデルの利活用におけるインジェクション攻撃に関する脅威の体系化}, volume = {66}, year = {2025} }