大規模言語モデルにおける低精度数値表現

• Item type: SIG Technical Reports(1)
• 公開日: 2024-05-01
• タイトル: 大規模言語モデルにおける低精度数値表現
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: 招待講演
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: Preferred Networks, Inc.
• 著者所属(英): en
• 著者所属(英): Preferred Networks, Inc.
• 著者名: 三上, 裕明
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 深層学習では計算の高速化やメモリ消費の削減のために低精度な数値表現がよく用いられる．特に，大規模言語モデル (LLM) は膨大な計算量とメモリを要求するため，そ; の他の深層学習以上に低精度な数値表現の利用が活発となっている．LLM の学習においては，従来から使われる 16bit 表現に加え，8bit 浮動小数点 (FP8) が実用されるよ; うになった．また，推論においては 8bit 未満の様々な数値表現が提案・活用されている．株式会社 Preferred Networks においても，LLM を用いたワークロードの効率の良; い実行のために LLM における低精度数値表現の研究開発を行っている．本講演では，LLM において使用される低精度数値表現について PFN での実験結果を交えて概観す; る．
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10463942
• 書誌情報: 研究報告ハイパフォーマンスコンピューティング（HPC）; 巻 2024-HPC-194, 号 4, p. 1-1, 発行日 2024-05-01
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8841
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会