長文要約タスクにおける複数学習条件の効果検証

• Item type: SIG Technical Reports(1)
• 公開日: 2024-12-05
• タイトル: 長文要約タスクにおける複数学習条件の効果検証
• タイトル / 言語: en
• タイトル: Effect Verification of Multiple Learning Conditions on Long-text Summarization Tasks
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: 要約
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: コニカミノルタ株式会社／現在，日本電信電話株式会社人間情報研究所
• 著者所属: コニカミノルタ株式会社
• 著者所属: コニカミノルタ株式会社
• 著者名: 樋本, 一晴; 池田, 大志; 寺中, 駿人
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 本稿は，長文要約タスクにおける，大規模言語モデル (Large Language Model: LLM) への複数の学習条件の効果を検証した結果を報告する．長文要約タスクの実現手段としては，LLM の学習以外にも，Instruct チューニング済み LLM を活用した zero-shot や few-shot 推論が考えられる．長文要約タスクを実適用する際，アノテーション済みデータセットを構築できる場合は，LLM に学習を加えることで，タスク精度の向上に取り組むことが一般的である．ただし，アノテーションデータの構築は多くの工数がかかることが知られている．そこで，本研究では，長文要約タスクの実現に対し，必要なアノテーションデータ数に対する精度比較を行った．実験では，モデルパラメータ数が 7B の Decoder モデルに対するファインチューニングと LoRA チューニング，軽量な Encoder-Decoder モデルと，Encoder モデルに対するファインチューニングを行い，それぞれ学習データ数に対する要約精度の比較を行った．その結果，(1) モデルパラメータ数が 7B の LLM に対して，ファインチューニングと LoRA チューニングの精度差はあまり見られない．(2) 学習データ数が少ない場合は，モデルパラメータ数が 7B の LLM に対する LoRA チューニングが高精度だが，学習データ数が増加するにつれ，軽量な Encoder-Decoder モデルに対するファインチューニングの方が高精度になる．の大きく二つの傾向がわかり，長文要約タスクの実適用に対し，アノテーションデータ数に応じた現実的な解法の方針を示した．
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10115061
• 書誌情報: 研究報告自然言語処理（NL）; 巻 2024-NL-262, 号 36, p. 1-8, 発行日 2024-12-05
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8779
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会