LLMの多段階ファインチューニングにおけるmemory replayの適切な適用方法

• Item type: SIG Technical Reports(1)
• 公開日: 2024-06-13
• タイトル: LLMの多段階ファインチューニングにおけるmemory replayの適切な適用方法
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: 数理モデル化と問題解決1
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 株式会社NTTデータデザイン＆テクノロジー事業本部
• 著者所属: 株式会社NTTデータグループ技術革新統括本部
• 著者名: 魚下, 昇也; 湯浅, 晃
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 企業への大規模言語モデル（LLM）の導入において，情報管理やコストの面から様々なユースケースに向けてカスタマイズ可能で小規模な LLM が求められている．一方で，新たな用途に対応する度に，ファインチューニングのための学習データを用意し，計算資源と時間をかけて学習させるのは非効率的であり，既存のファインチューニング済みモデルを出発点に，追加のデータを与えて学習させることで，別の問題に対応できるモデルを作成することが検討されている．しかしながら，このような多段階のファインチューニングをすると，前段階で学習した知識をほとんど忘れてしまう catastrophic forgetting と呼ばれる現象が生じることが知られている．この現象を防ぐ memory replay と呼ばれる手法も知られており，Lawyer LLaMA 等の先行研究でその効果が言及されているものの，その適切な運用方法は確立されていない．そこで本稿では，llama2 と redpajama に対して翻訳と文書読解などの多段階のファインチューニングを実施し，比率を変えながら memory replay を適用することで，memory replay の最適な比率を実験により検証した．実験の結果，5% 程度の memory replay を実施した場合，後段階のタスクの制度にあまり影響を与えずに，前段タスクに対する性能をおおむね最大化させることができると判明した．これにより，多段階のファインチューニングを要するような応用において，おおむね 5% 程度の memory replay が適切であることが確認できた．
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10505667
• 書誌情報: 研究報告数理モデル化と問題解決（MPS）; 巻 2024-MPS-148, 号 49, p. 1-2, 発行日 2024-06-13
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8833
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会