| Item type |
SIG Technical Reports(1) |
| 公開日 |
2024-07-15 |
| タイトル |
|
|
タイトル |
サイバーセキュリティ関連情報のキュレーションに向けた大規模言語モデルによる要約生成の定量評価 |
| 言語 |
|
|
言語 |
jpn |
| キーワード |
|
|
主題Scheme |
Other |
|
主題 |
IPSJ-CSEC |
| 資源タイプ |
|
|
資源タイプ識別子 |
http://purl.org/coar/resource_type/c_18gh |
|
資源タイプ |
technical report |
| 著者所属 |
|
|
|
情報通信研究機構 |
| 著者所属 |
|
|
|
情報通信研究機構 |
| 著者所属 |
|
|
|
情報通信研究機構 |
| 著者所属 |
|
|
|
情報通信研究機構 |
| 著者所属 |
|
|
|
情報通信研究機構 |
| 著者所属 |
|
|
|
情報通信研究機構 |
| 著者所属 |
|
|
|
情報通信研究機構 |
| 著者所属(英) |
|
|
|
en |
|
|
NICT |
| 著者所属(英) |
|
|
|
en |
|
|
NICT |
| 著者所属(英) |
|
|
|
en |
|
|
NICT |
| 著者所属(英) |
|
|
|
en |
|
|
NICT |
| 著者所属(英) |
|
|
|
en |
|
|
NICT |
| 著者所属(英) |
|
|
|
en |
|
|
NICT |
| 著者所属(英) |
|
|
|
en |
|
|
NICT |
| 著者名 |
宮本, 耕平
藤田, 彬
松田, 美慧
古本, 啓祐
井野, 毅也
Piyo, kango
井上, 大介
|
| 著者名(英) |
Kohei, Miyamoto
Akira, Fujita
Misato, Matsuda
Keisuke, Furumoto
Takeya, Ino
Piyo, Kango
Daisuke, Inoue
|
| 論文抄録 |
|
|
内容記述タイプ |
Other |
|
内容記述 |
現代において，サイバーセキュリティの関連情報の収集は重要である．サイバーセキュリティ関連情報は多様な媒体を通じて発信されており，その膨大な情報源の全てに目を通すことは困難であるため，それらを集約して発信するキュレーション技術の社会的意義は大きい．近年，自然言語処理の分野においては大規模言語モデルを用いることで，様々なタスクにおいて革新的な性能が実現されるようになっている．これを踏まえて，大規模言語モデルをサイバーセキュリティ関連情報のキュレーションに応用することを考える．本稿においては，自然言語処理におけるタスクのうち，キュレーションに近しいものとして要約タスクに注目し，大規模言語モデルを用いた日本語の要約について，要約を指示するプロンプトの違いによる影響を自動評価指標を用いた定量評価実験を通じて調べた．実験においては一般的なニュース記事を元にした公開データセットである XLSUM と，サイバーセキュリティ関連情報をまとめた記事の発信で知られるブログである piyolog とその参考文献を元に独自に作成した piyolog データセットを用いた．実験結果において，プロンプトの違いによって，ある程度一貫した影響が各種の評価指標で見られた． |
| 論文抄録(英) |
|
|
内容記述タイプ |
Other |
|
内容記述 |
Collecting related information to cyber security is an important task in practice of cyber security. Curation techniques are also important to collect such information effectively. In this study, we focus on the summarization task in natural language processing which is similar to the curation task. We examine performance of a large language model through quantative evaluations. We found that the performance is effected by the difference in format of prompt used as input. |
| 書誌レコードID |
|
|
収録物識別子タイプ |
NCID |
|
収録物識別子 |
AA12628305 |
| 書誌情報 |
研究報告セキュリティ心理学とトラスト（SPT）
巻 2024-SPT-56,
号 36,
p. 1-8,
発行日 2024-07-15
|
| ISSN |
|
|
収録物識別子タイプ |
ISSN |
|
収録物識別子 |
2188-8671 |
| Notice |
|
|
|
SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc. |
| 出版者 |
|
|
言語 |
ja |
|
出版者 |
情報処理学会 |
IPSJ-SPT24056036.pdf (1.1 MB)
