2026-04-17T16:29:08Z https://ipsj.ixsq.nii.ac.jp/oai

oai:ipsj.ixsq.nii.ac.jp:00234033 2025-01-19T09:54:03Z 1164:2240:11467:11597

大規模言語モデルにおける低精度数値表現 三上, 裕明 招待講演 深層学習では計算の高速化やメモリ消費の削減のために低精度な数値表現がよく用いられる．特に，大規模言語モデル (LLM) は膨大な計算量とメモリを要求するため，そ の他の深層学習以上に低精度な数値表現の利用が活発となっている．LLM の学習においては，従来から使われる 16bit 表現に加え，8bit 浮動小数点 (FP8) が実用されるよ うになった．また，推論においては 8bit 未満の様々な数値表現が提案・活用されている．株式会社 Preferred Networks においても，LLM を用いたワークロードの効率の良 い実行のために LLM における低精度数値表現の研究開発を行っている．本講演では，LLM において使用される低精度数値表現について PFN での実験結果を交えて概観す る． technical report 情報処理学会 2024-05-01 application/pdf 研究報告ハイパフォーマンスコンピューティング（HPC） 4 2024-HPC-194 1 1 2188-8841 AN10463942 https://ipsj.ixsq.nii.ac.jp/record/234033/files/IPSJ-HPC24194004.pdf jpn