WEKO3
アイテム
1bit LLMの時代は来るのか，来ないのか，どっちなんだい？
https://doi.org/10.20729/00234845
https://doi.org/10.20729/00234845ccada104-5d63-4601-97aa-3eb0d90cae80
| 名前 / ファイル | ライセンス | アクション |
|---|---|---|
IPSJ-MGN650703.pdf (1.1 MB)
|
Copyright (c) 2024 by the Information Processing Society of Japan
|
|
| オープンアクセス | ||
| Item type | Magazine_02(1) | |||||||
|---|---|---|---|---|---|---|---|---|
| 公開日 | 2024-06-15 | |||||||
| タイトル | ||||||||
| タイトル | 1bit LLMの時代は来るのか，来ないのか，どっちなんだい？ | |||||||
| タイトル | ||||||||
| 言語 | en | |||||||
| タイトル | Will the Era of 1-bit LLMs Come or Not? | |||||||
| 言語 | ||||||||
| 言語 | jpn | |||||||
| キーワード | ||||||||
| 主題Scheme | Other | |||||||
| 主題 | 特別解説 | |||||||
| 資源タイプ | ||||||||
| 資源タイプ識別子 | http://purl.org/coar/resource_type/c_6501 | |||||||
| 資源タイプ | article | |||||||
| ID登録 | ||||||||
| ID登録 | 10.20729/00234845 | |||||||
| ID登録タイプ | JaLC | |||||||
| 著者所属 | ||||||||
| LeapMind（株） | ||||||||
| 著者所属(英) | ||||||||
| en | ||||||||
| LeapMind Inc. | ||||||||
| 著者名 |
徳永, 拓之
× 徳永, 拓之
|
|||||||
| 著者名(英) |
TOKUNAGA, Hiroyuki
× TOKUNAGA, Hiroyuki
|
|||||||
| 論文抄録 | ||||||||
| 内容記述タイプ | Other | |||||||
| 内容記述 | ネット上で話題となった“The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits”についての解説を行う．本手法はニューラルネットワークのパラメーターを三値にすることで軽量化を行うものであり，パラメーター数30億のLLMに適用された場合に元の16bit精度のモデルよりも高い精度を示したことで，にわかに注目を集めた． | |||||||
| 書誌レコードID | ||||||||
| 収録物識別子タイプ | NCID | |||||||
| 収録物識別子 | AN00116625 | |||||||
| 書誌情報 |
情報処理 巻 65, 号 7, p. 348-351, 発行日 2024-06-15 |
|||||||
| 公開者 | ||||||||
| 言語 | ja | |||||||
| 出版者 | 情報処理学会 | |||||||
