@techreport{oai:ipsj.ixsq.nii.ac.jp:00241611,
 author = {樋本, 一晴 and 池田, 大志 and 寺中, 駿人},
 issue = {36},
 month = {Dec},
 note = {本稿は，長文要約タスクにおける，大規模言語モデル (Large Language Model: LLM) への複数の学習条件の効果を検証した結果を報告する．長文要約タスクの実現手段としては，LLM の学習以外にも，Instruct チューニング済み LLM を活用した zero-shot や few-shot 推論が考えられる．長文要約タスクを実適用する際，アノテーション済みデータセットを構築できる場合は，LLM に学習を加えることで，タスク精度の向上に取り組むことが一般的である．ただし，アノテーションデータの構築は多くの工数がかかることが知られている．そこで，本研究では，長文要約タスクの実現に対し，必要なアノテーションデータ数に対する精度比較を行った．実験では，モデルパラメータ数が 7B の Decoder モデルに対するファインチューニングと LoRA チューニング，軽量な Encoder-Decoder モデルと，Encoder モデルに対するファインチューニングを行い，それぞれ学習データ数に対する要約精度の比較を行った．その結果，(1) モデルパラメータ数が 7B の LLM に対して，ファインチューニングと LoRA チューニングの精度差はあまり見られない．(2) 学習データ数が少ない場合は，モデルパラメータ数が 7B の LLM に対する LoRA チューニングが高精度だが，学習データ数が増加するにつれ，軽量な Encoder-Decoder モデルに対するファインチューニングの方が高精度になる．の大きく二つの傾向がわかり，長文要約タスクの実適用に対し，アノテーションデータ数に応じた現実的な解法の方針を示した．},
 title = {長文要約タスクにおける複数学習条件の効果検証},
 year = {2024}
}