WEKO3
アイテム
複数ノードを用いた言語モデルの構築とドメイン適応
https://ipsj.ixsq.nii.ac.jp/records/232682
https://ipsj.ixsq.nii.ac.jp/records/2326828f979fcf-e5ea-46c0-8087-0f96c5858554
| 名前 / ファイル | ライセンス | アクション |
|---|---|---|
IPSJ-ICS24213002.pdf (952.6 kB)
2026年2月26日からダウンロード可能です。
|
Copyright (c) 2024 by the Information Processing Society of Japan
|
|
| 非会員：¥660, IPSJ:学会員：¥330, ICS:会員：¥0, DLIB:会員：¥0 | ||
| Item type | SIG Technical Reports(1) | |||||||||
|---|---|---|---|---|---|---|---|---|---|---|
| 公開日 | 2024-02-26 | |||||||||
| タイトル | ||||||||||
| タイトル | 複数ノードを用いた言語モデルの構築とドメイン適応 | |||||||||
| タイトル | ||||||||||
| 言語 | en | |||||||||
| タイトル | Language Model Construction and Domain Adaptation using Multiple Nodes | |||||||||
| 言語 | ||||||||||
| 言語 | jpn | |||||||||
| 資源タイプ | ||||||||||
| 資源タイプ識別子 | http://purl.org/coar/resource_type/c_18gh | |||||||||
| 資源タイプ | technical report | |||||||||
| 著者所属 | ||||||||||
| 東京大学／日興アセットマネジメント株式会社 | ||||||||||
| 著者所属 | ||||||||||
| 北海道大学 | ||||||||||
| 著者名 |
鈴木, 雅弘
× 鈴木, 雅弘
× 坂地, 泰紀
|
|||||||||
| 論文抄録 | ||||||||||
| 内容記述タイプ | Other | |||||||||
| 内容記述 | BERT や LLaMA などの言語モデルの構築は，GPU を利用した大規模な計算資源が必要である．本稿では，複数ノードを使用して BERT，DeBERTaV2 と LLaMA の事前学習やインストラクションチューニングを行うための環境の実例を紹介する．高速なネットワークや分散ファイルシステム，及びノードごとに異なるバッチサイズでの学習のための実装などの複数の方策により，より効率的な学習が可能となる．これらの知見は研究室内部のみに蓄積されることが多く，広く共有されることが少ない傾向にある．研究室単位で実施可能な言語モデルの構築およびチューニングのための施策やインフラ基盤について整理することで，本稿が有用な情報源となることが期待される． | |||||||||
| 書誌レコードID | ||||||||||
| 収録物識別子タイプ | NCID | |||||||||
| 収録物識別子 | AA11135936 | |||||||||
| 書誌情報 |
研究報告知能システム（ICS） 巻 2024-ICS-213, 号 2, p. 1-6, 発行日 2024-02-26 |
|||||||||
| ISSN | ||||||||||
| 収録物識別子タイプ | ISSN | |||||||||
| 収録物識別子 | 2188-885X | |||||||||
| Notice | ||||||||||
| SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc. | ||||||||||
| 出版者 | ||||||||||
| 言語 | ja | |||||||||
| 出版者 | 情報処理学会 | |||||||||
