| Item type |
Symposium(1) |
| 公開日 |
2024-10-15 |
| タイトル |
|
|
言語 |
ja |
|
タイトル |
サイバーセキュリティ関連情報のキュレーションに向けた大規模言語モデルによる要約生成の人手評価方式の提案 |
| タイトル |
|
|
言語 |
en |
|
タイトル |
A Proposal for a Manual Evaluation Method for Curated Articles on Cybersecurity Information Generated by a Large Language Model |
| 言語 |
|
|
言語 |
jpn |
| キーワード |
|
|
主題Scheme |
Other |
|
主題 |
大規模言語モデル，キュレーション，OSINT |
| 資源タイプ |
|
|
資源タイプ識別子 |
http://purl.org/coar/resource_type/c_5794 |
|
資源タイプ |
conference paper |
| 著者所属 |
|
|
|
国立研究開発法人情報通信研究機構／横浜国立大学大学院環境情報学府 |
| 著者所属 |
|
|
|
国立研究開発法人情報通信研究機構 |
| 著者所属 |
|
|
|
国立研究開発法人情報通信研究機構 |
| 著者所属 |
|
|
|
国立研究開発法人情報通信研究機構 |
| 著者所属 |
|
|
|
国立研究開発法人情報通信研究機構 |
| 著者所属 |
|
|
|
国立研究開発法人情報通信研究機構 |
| 著者所属 |
|
|
|
国立研究開発法人情報通信研究機構 |
| 著者所属(英) |
|
|
|
en |
|
|
National Institute of Information and Communications Technology / Graduate School of Environment and Information Sciences, Yokohama National University |
| 著者所属(英) |
|
|
|
en |
|
|
National Institute of Information and Communications Technology |
| 著者所属(英) |
|
|
|
en |
|
|
National Institute of Information and Communications Technology |
| 著者所属(英) |
|
|
|
en |
|
|
National Institute of Information and Communications Technology |
| 著者所属(英) |
|
|
|
en |
|
|
National Institute of Information and Communications Technology |
| 著者所属(英) |
|
|
|
en |
|
|
National Institute of Information and Communications Technology |
| 著者所属(英) |
|
|
|
en |
|
|
National Institute of Information and Communications Technology |
| 著者名 |
松田, 美慧
宮本, 耕平
藤田, 彬
古本, 啓祐
井野, 毅也
piyo, kango
井上, 大介
|
| 著者名(英) |
Misato, Matsuda
Kouhei, Miyamoto
Akira, Fujita
Keisuke, Furumoto
Takeya, Ino
Piyo, Kango
Daisuke, Inoue
|
| 論文抄録 |
|
|
内容記述タイプ |
Other |
|
内容記述 |
サイバーセキュリティインシデントの発生時，迅速かつ正確なキュレーション記事の発信は類似事例の予防の観点から重要である．迅速かつ正確なキュレーションの実現には，情報の収集，突合，要約などを実行する自然言語処理の技術が欠かせない．なかでも大規模言語モデルは要約などにおいて革新的な成果を挙げており，複数文書要約による記事の自動生成への活用が期待される．しかし，大規模言語モデルの出力には，情報の誤変換や必要な情報の欠落などが頻発するため，入力と出力の内容の齟齬の有無を確認する必要がある．文書要約の評価には，一般的に複数文書間の類似性を判断する定量評価の指標が用いられるが，情報の誤変換や欠落の判断は最終的に人間による評価を要し，その評価手法は確立されていない．本研究では，大規模言語モデルを活用した複数文書要約を実装し，人間による評価のスキームを提案する．このスキームでは，攻撃の内容や被害規模などインシデントに関連する事象ごとに，収集された情報から記事に載せるべき重要な情報を抽出した評価シートをあらかじめ定め，評価シートに記載された内容との相違を評価する．本研究の成果は，半自動的なキュレーションの効率化に貢献する． |
| 論文抄録(英) |
|
|
内容記述タイプ |
Other |
|
内容記述 |
The curation of cybersecurity-related information plays an important role in incident prevention and post-incident response, and it must be fast and accurate. Natural language processing techniques for collecting, matching, sorting, and summarizing information are essential for rapid curation. Among these, large-scale language models have achieved innovative results in summarization and are expected to be used for summarization. However, the output of large-scale language models leaves a problem in the accuracy of information. Although existing metrics for quantitative evaluation have been proposed as general criteria for document summarization, human evaluation is ultimately required. In this study, we implement multiple document summarization using a large-scale language model and propose a scheme of human assessment. In this scheme, an evaluation sheet that extracts essential information that should be included in the article from the collected information is defined in advance, and the evaluation is performed by judging the implication with the contents described in the evaluation sheet. The results of this research will contribute to the realization of semi-automatic curation. |
| 書誌情報 |
コンピュータセキュリティシンポジウム2024論文集
p. 230-237,
発行日 2024-10-15
|
| 出版者 |
|
|
言語 |
ja |
|
出版者 |
情報処理学会 |
IPSJ-CSS2024031.pdf (776.5 kB)
