WEKO3
アイテム
日本語継続事前学習におけるPatch-Level Training
https://ipsj.ixsq.nii.ac.jp/records/2002808
https://ipsj.ixsq.nii.ac.jp/records/2002808020cb95d-cdb4-4791-9beb-f02c557148ed
| 名前 / ファイル | ライセンス | アクション |
|---|---|---|
IPSJ-NL25264001.pdf (2.1 MB)
2027年6月29日からダウンロード可能です。
|
Copyright (c) 2025 by the Information Processing Society of Japan
|
|
| 非会員：¥660, IPSJ:学会員：¥330, NL:会員：¥0, DLIB:会員：¥0 | ||
| Item type | SIG Technical Reports(1) | |||||||||
|---|---|---|---|---|---|---|---|---|---|---|
| 公開日 | 2025-06-29 | |||||||||
| タイトル | ||||||||||
| 言語 | ja | |||||||||
| タイトル | 日本語継続事前学習におけるPatch-Level Training | |||||||||
| 言語 | ||||||||||
| 言語 | jpn | |||||||||
| キーワード | ||||||||||
| 主題Scheme | Other | |||||||||
| 主題 | 大規模言語モデル学習 | |||||||||
| 資源タイプ | ||||||||||
| 資源タイプ識別子 | http://purl.org/coar/resource_type/c_18gh | |||||||||
| 資源タイプ | technical report | |||||||||
| 著者所属 | ||||||||||
| 高槻高等学校 | ||||||||||
| 著者所属 | ||||||||||
| 高槻高等学校 | ||||||||||
| 著者名 |
松本,和真
× 松本,和真
× 山下,櫂璃
|
|||||||||
| 論文抄録 | ||||||||||
| 内容記述タイプ | Other | |||||||||
| 内容記述 | 大規模言語モデル(LLM)のモデルサイズと学習量の増大につれて，学習効率の向上が重要な課題となっている．Patch-Level TrainingはLLMの事前学習において，複数のトークンを単一のパッチに圧縮することで総学習データ長を短縮し，その短いパッチ列をLLMに与え，次のパッチを予測するように学習させることで学習データの大部分の計算コストを大幅に削減させるものである．その後，LLMを推論時に合わせて，残りの学習データに対して従来の学習を継続する．一連の流れでLLMの事前学習の計算コストを約50%削減できるとされている．そこで本稿ではLLMの日本語継続事前学習を従来の方法によって行ったモデルとPatch-Level Trainingによって行ったモデルを，生成タスクとその他下流タスクで評価することでPatch-Level Trainingが日本語継続事前学習に与える影響を調べた．結果，生成タスクでは大きな差は生じなかったが，下流タスクでは大幅な性能劣化が見られた． | |||||||||
| 書誌レコードID | ||||||||||
| 収録物識別子タイプ | NCID | |||||||||
| 収録物識別子 | AN10115061 | |||||||||
| 書誌情報 |
研究報告自然言語処理（NL） 巻 2025-NL-264, 号 1, p. 1-6, 発行日 2025-06-29 |
|||||||||
| ISSN | ||||||||||
| 収録物識別子タイプ | ISSN | |||||||||
| 収録物識別子 | 2188-8779 | |||||||||
| Notice | ||||||||||
| SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc. | ||||||||||
| 出版者 | ||||||||||
| 言語 | ja | |||||||||
| 出版者 | 情報処理学会 | |||||||||
