@techreport{oai:ipsj.ixsq.nii.ac.jp:00234876,
 author = {魚下, 昇也 and 湯浅, 晃},
 issue = {49},
 month = {Jun},
 note = {企業への大規模言語モデル（LLM）の導入において，情報管理やコストの面から様々なユースケースに向けてカスタマイズ可能で小規模な LLM が求められている．一方で，新たな用途に対応する度に，ファインチューニングのための学習データを用意し，計算資源と時間をかけて学習させるのは非効率的であり，既存のファインチューニング済みモデルを出発点に，追加のデータを与えて学習させることで，別の問題に対応できるモデルを作成することが検討されている．しかしながら，このような多段階のファインチューニングをすると，前段階で学習した知識をほとんど忘れてしまう catastrophic forgetting と呼ばれる現象が生じることが知られている．この現象を防ぐ memory replay と呼ばれる手法も知られており，Lawyer LLaMA 等の先行研究でその効果が言及されているものの，その適切な運用方法は確立されていない．そこで本稿では，llama2 と redpajama に対して翻訳と文書読解などの多段階のファインチューニングを実施し，比率を変えながら memory replay を適用することで，memory replay の最適な比率を実験により検証した．実験の結果，5% 程度の memory replay を実施した場合，後段階のタスクの制度にあまり影響を与えずに，前段タスクに対する性能をおおむね最大化させることができると判明した．これにより，多段階のファインチューニングを要するような応用において，おおむね 5% 程度の memory replay が適切であることが確認できた．},
 title = {LLMの多段階ファインチューニングにおけるmemory replayの適切な適用方法},
 year = {2024}
}