WEKO3
アイテム
継続学習を用いた効率の良いマルチリンガル・マルチエキスパートモデルの開発
https://ipsj.ixsq.nii.ac.jp/records/235640
https://ipsj.ixsq.nii.ac.jp/records/2356402c37a31a-cd6c-44c0-8dd6-a4353eaf0bfe
| 名前 / ファイル | ライセンス | アクション |
|---|---|---|
IPSJ-Z86-5J-01.pdf (252.7 kB)
|
Copyright (c) 2024 by the Information Processing Society of Japan
|
| Item type | National Convention(1) | |||||||||
|---|---|---|---|---|---|---|---|---|---|---|
| 公開日 | 2024-03-01 | |||||||||
| タイトル | ||||||||||
| タイトル | 継続学習を用いた効率の良いマルチリンガル・マルチエキスパートモデルの開発 | |||||||||
| 言語 | ||||||||||
| 言語 | jpn | |||||||||
| キーワード | ||||||||||
| 主題Scheme | Other | |||||||||
| 主題 | コンピュータシステム | |||||||||
| 資源タイプ | ||||||||||
| 資源タイプ識別子 | http://purl.org/coar/resource_type/c_5794 | |||||||||
| 資源タイプ | conference paper | |||||||||
| 著者所属 | ||||||||||
| 東工大 | ||||||||||
| 著者所属 | ||||||||||
| 東工大 | ||||||||||
| 著者名 |
中村, 泰士
× 中村, 泰士
× 横田, 理央
|
|||||||||
| 論文抄録 | ||||||||||
| 内容記述タイプ | Other | |||||||||
| 内容記述 | 近年、OpenAIのGPT-4をはじめとする大規模言語モデルの開発が世界中で行われている。これらのモデルは、様々なタスクを解くことができるため注目されている。BLOOMのような多言語モデルの開発も進められている一方、効率的に複数の言語および複数のタスクに対応するモデルの開発は依然として課題が多く残されている。本研究では、主に英語とコードで学習されたstarcoderplusモデルを基に、日本語、英語、フィンランド語、ベトナム語、ヒンディー語、コードを用いて継続学習を行い、多言語対応および複数のエキスパートモデルを開発した。本論文では、継続学習のプロセス、そして多言語および多分野での性能評価について詳細に論じる。 | |||||||||
| 書誌レコードID | ||||||||||
| 収録物識別子タイプ | NCID | |||||||||
| 収録物識別子 | AN00349328 | |||||||||
| 書誌情報 |
第86回全国大会講演論文集 巻 2024, 号 1, p. 59-60, 発行日 2024-03-01 |
|||||||||
| 出版者 | ||||||||||
| 言語 | ja | |||||||||
| 出版者 | 情報処理学会 | |||||||||
