@techreport{oai:ipsj.ixsq.nii.ac.jp:02000993,
 author = {西田,悠人 and 小田,悠介},
 issue = {15},
 month = {Mar},
 note = {言語モデルの学習の安定性は，モデルの信頼性を担保するために重要な要素である．従来，モデルの安定性は損失関数の形状や収束性が主として議論されてきた．そのため，大規模言語モデル（LLM）は自然言語生成タスクをはじめとする下流タスクによって性能を評価・比較するのが主流であるにもかかわらず，LLMの学習過程における下流タスクの性能の安定性についての知見は限定的である．そこで，本稿では，日本語を多く含むコーパスで訓練されたLLMの学習過程の下流タスク性能を調査し，タスク性能の不安定性が多くの事例で観察されることを示す．また，LLMのタスク性能の不安定性を事後処理によって緩和するための初期検討として，チェックポイント平均化および多数決アンサンブルの効果について報告する．},
 title = {LLMの学習過程におけるタスク性能の不安定性とその緩和},
 year = {2025}
}