WEKO3
アイテム
LLMの学習過程におけるタスク性能の不安定性とその緩和
https://ipsj.ixsq.nii.ac.jp/records/2000993
https://ipsj.ixsq.nii.ac.jp/records/20009931bc76a86-bc88-4a26-b1d2-ec54cc72d152
| 名前 / ファイル | ライセンス | アクション |
|---|---|---|
IPSJ-NL25263015.pdf (1.2 MB)
2027年3月1日からダウンロード可能です。
|
Copyright (c) 2025 by the Information Processing Society of Japan
|
|
| 非会員：¥660, IPSJ:学会員：¥330, NL:会員：¥0, DLIB:会員：¥0 | ||
| Item type | SIG Technical Reports(1) | |||||||||
|---|---|---|---|---|---|---|---|---|---|---|
| 公開日 | 2025-03-01 | |||||||||
| タイトル | ||||||||||
| 言語 | ja | |||||||||
| タイトル | LLMの学習過程におけるタスク性能の不安定性とその緩和 | |||||||||
| 言語 | ||||||||||
| 言語 | jpn | |||||||||
| キーワード | ||||||||||
| 主題Scheme | Other | |||||||||
| 主題 | 大規模言語モデル | |||||||||
| 資源タイプ | ||||||||||
| 資源タイプ識別子 | http://purl.org/coar/resource_type/c_18gh | |||||||||
| 資源タイプ | technical report | |||||||||
| 著者所属 | ||||||||||
| 奈良先端科学技術大学院大学／国立情報学研究所大規模言語モデル研究開発センター | ||||||||||
| 著者所属 | ||||||||||
| 奈良先端科学技術大学院大学／国立情報学研究所大規模言語モデル研究開発センター | ||||||||||
| 著者名 |
西田,悠人
× 西田,悠人
× 小田,悠介
|
|||||||||
| 論文抄録 | ||||||||||
| 内容記述タイプ | Other | |||||||||
| 内容記述 | 言語モデルの学習の安定性は，モデルの信頼性を担保するために重要な要素である．従来，モデルの安定性は損失関数の形状や収束性が主として議論されてきた．そのため，大規模言語モデル（LLM）は自然言語生成タスクをはじめとする下流タスクによって性能を評価・比較するのが主流であるにもかかわらず，LLMの学習過程における下流タスクの性能の安定性についての知見は限定的である．そこで，本稿では，日本語を多く含むコーパスで訓練されたLLMの学習過程の下流タスク性能を調査し，タスク性能の不安定性が多くの事例で観察されることを示す．また，LLMのタスク性能の不安定性を事後処理によって緩和するための初期検討として，チェックポイント平均化および多数決アンサンブルの効果について報告する． | |||||||||
| 書誌レコードID | ||||||||||
| 収録物識別子タイプ | NCID | |||||||||
| 収録物識別子 | AN10115061 | |||||||||
| 書誌情報 |
研究報告自然言語処理（NL） 巻 2025-NL-263, 号 15, p. 1-8, 発行日 2025-03-01 |
|||||||||
| ISSN | ||||||||||
| 収録物識別子タイプ | ISSN | |||||||||
| 収録物識別子 | 2188-8779 | |||||||||
| Notice | ||||||||||
| SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc. | ||||||||||
| 出版者 | ||||||||||
| 言語 | ja | |||||||||
| 出版者 | 情報処理学会 | |||||||||
