WEKO3
アイテム
大規模言語モデルの構造探索
https://ipsj.ixsq.nii.ac.jp/records/235916
https://ipsj.ixsq.nii.ac.jp/records/2359167af61b25-d796-460d-ac8a-4e1ec3a5fecc
| 名前 / ファイル | ライセンス | アクション |
|---|---|---|
IPSJ-Z86-6N-07.pdf (244.5 kB)
|
Copyright (c) 2024 by the Information Processing Society of Japan
|
| Item type | National Convention(1) | |||||||||
|---|---|---|---|---|---|---|---|---|---|---|
| 公開日 | 2024-03-01 | |||||||||
| タイトル | ||||||||||
| タイトル | 大規模言語モデルの構造探索 | |||||||||
| 言語 | ||||||||||
| 言語 | jpn | |||||||||
| キーワード | ||||||||||
| 主題Scheme | Other | |||||||||
| 主題 | 人工知能と認知科学 | |||||||||
| 資源タイプ | ||||||||||
| 資源タイプ識別子 | http://purl.org/coar/resource_type/c_5794 | |||||||||
| 資源タイプ | conference paper | |||||||||
| 著者所属 | ||||||||||
| 東工大 | ||||||||||
| 著者所属 | ||||||||||
| 東工大 | ||||||||||
| 著者名 |
岡本, 拓己
× 岡本, 拓己
× 横田, 理央
|
|||||||||
| 論文抄録 | ||||||||||
| 内容記述タイプ | Other | |||||||||
| 内容記述 | 近年大規模言語モデルは目覚ましい成果を挙げている。しかし、高い性能を達成しているモデルには大量の事前学習データと大きなモデルサイズが用いられている。そのため、事前学習には大量の計算資源が必要である。モデルを変更して、性能を落とさずにパラメータ数やフロップ数を削減することできれば、必要な計算資源を削減することが可能である。剪定、量子化、蒸留などによってモデルサイズを削減する方法が提案されているが、Neural Architecture Searchを利用しているものは少ない。そこで、本論文ではNASを用いて性能をできる限り落とさずにパラメータ数やフロップ数を削減するモデルを探索した。 | |||||||||
| 書誌レコードID | ||||||||||
| 収録物識別子タイプ | NCID | |||||||||
| 収録物識別子 | AN00349328 | |||||||||
| 書誌情報 |
第86回全国大会講演論文集 巻 2024, 号 1, p. 139-140, 発行日 2024-03-01 |
|||||||||
| 出版者 | ||||||||||
| 言語 | ja | |||||||||
| 出版者 | 情報処理学会 | |||||||||
