@techreport{oai:ipsj.ixsq.nii.ac.jp:00234033,
 author = {三上, 裕明},
 issue = {4},
 month = {May},
 note = {深層学習では計算の高速化やメモリ消費の削減のために低精度な数値表現がよく用いられる．特に，大規模言語モデル (LLM) は膨大な計算量とメモリを要求するため，そ
の他の深層学習以上に低精度な数値表現の利用が活発となっている．LLM の学習においては，従来から使われる 16bit 表現に加え，8bit 浮動小数点 (FP8) が実用されるよ
うになった．また，推論においては 8bit 未満の様々な数値表現が提案・活用されている．株式会社 Preferred Networks においても，LLM を用いたワークロードの効率の良
い実行のために LLM における低精度数値表現の研究開発を行っている．本講演では，LLM において使用される低精度数値表現について PFN での実験結果を交えて概観す
る．},
 title = {大規模言語モデルにおける低精度数値表現},
 year = {2024}
}