WEKO3
アイテム
長文要約タスクにおける複数学習条件の効果検証
https://ipsj.ixsq.nii.ac.jp/records/241656
https://ipsj.ixsq.nii.ac.jp/records/24165666f13232-c517-4dd4-8d39-f640e049761b
名前 / ファイル | ライセンス | アクション |
---|---|---|
![]()
2026年12月5日からダウンロード可能です。
|
Copyright (c) 2024 by the Information Processing Society of Japan
|
|
非会員:¥660, IPSJ:学会員:¥330, SLP:会員:¥0, DLIB:会員:¥0 |
Item type | SIG Technical Reports(1) | |||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|
公開日 | 2024-12-05 | |||||||||||
タイトル | ||||||||||||
タイトル | 長文要約タスクにおける複数学習条件の効果検証 | |||||||||||
タイトル | ||||||||||||
言語 | en | |||||||||||
タイトル | Effect Verification of Multiple Learning Conditions on Long-text Summarization Tasks | |||||||||||
言語 | ||||||||||||
言語 | jpn | |||||||||||
キーワード | ||||||||||||
主題Scheme | Other | |||||||||||
主題 | 要約 | |||||||||||
資源タイプ | ||||||||||||
資源タイプ識別子 | http://purl.org/coar/resource_type/c_18gh | |||||||||||
資源タイプ | technical report | |||||||||||
著者所属 | ||||||||||||
コニカミノルタ株式会社/現在,日本電信電話株式会社人間情報研究所 | ||||||||||||
著者所属 | ||||||||||||
コニカミノルタ株式会社 | ||||||||||||
著者所属 | ||||||||||||
コニカミノルタ株式会社 | ||||||||||||
著者名 |
樋本, 一晴
× 樋本, 一晴
× 池田, 大志
× 寺中, 駿人
|
|||||||||||
論文抄録 | ||||||||||||
内容記述タイプ | Other | |||||||||||
内容記述 | 本稿は,長文要約タスクにおける,大規模言語モデル (Large Language Model: LLM) への複数の学習条件の効果を検証した結果を報告する.長文要約タスクの実現手段としては,LLM の学習以外にも,Instruct チューニング済み LLM を活用した zero-shot や few-shot 推論が考えられる.長文要約タスクを実適用する際,アノテーション済みデータセットを構築できる場合は,LLM に学習を加えることで,タスク精度の向上に取り組むことが一般的である.ただし,アノテーションデータの構築は多くの工数がかかることが知られている.そこで,本研究では,長文要約タスクの実現に対し,必要なアノテーションデータ数に対する精度比較を行った.実験では,モデルパラメータ数が 7B の Decoder モデルに対するファインチューニングと LoRA チューニング,軽量な Encoder-Decoder モデルと,Encoder モデルに対するファインチューニングを行い,それぞれ学習データ数に対する要約精度の比較を行った.その結果,(1) モデルパラメータ数が 7B の LLM に対して,ファインチューニングと LoRA チューニングの精度差はあまり見られない.(2) 学習データ数が少ない場合は,モデルパラメータ数が 7B の LLM に対する LoRA チューニングが高精度だが,学習データ数が増加するにつれ,軽量な Encoder-Decoder モデルに対するファインチューニングの方が高精度になる.の大きく二つの傾向がわかり,長文要約タスクの実適用に対し,アノテーションデータ数に応じた現実的な解法の方針を示した. | |||||||||||
書誌レコードID | ||||||||||||
収録物識別子タイプ | NCID | |||||||||||
収録物識別子 | AN10442647 | |||||||||||
書誌情報 |
研究報告音声言語情報処理(SLP) 巻 2024-SLP-154, 号 36, p. 1-8, 発行日 2024-12-05 |
|||||||||||
ISSN | ||||||||||||
収録物識別子タイプ | ISSN | |||||||||||
収録物識別子 | 2188-8663 | |||||||||||
Notice | ||||||||||||
SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc. | ||||||||||||
出版者 | ||||||||||||
言語 | ja | |||||||||||
出版者 | 情報処理学会 |