ニューラルネットワークの低ビット量子化手法の検討

• Item type: SIG Technical Reports(1)
• 公開日: 2024-11-05
• タイトル: ニューラルネットワークの低ビット量子化手法の検討
• タイトル / 言語: en
• タイトル: Low-bit Quantization Methods for Neural Networks
• 言語: jpn
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 早稲田大学
• 著者所属: 早稲田大学
• 著者所属: 早稲田大学
• 著者所属(英): en
• 著者所属(英): Waseda University
• 著者所属(英): en
• 著者所属(英): Waseda University
• 著者所属(英): en
• 著者所属(英): Waseda University
• 著者名: 和田, 絵美; 木村, 晋二
• 著者名(英): Emi, Wada; Shinji, Kimura
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: ニューラルネットワークの軽量化はエッジ応用において重要な課題である．中でも DNN (Deep Neural Network) モデルの学習後の量子化 (Post Training Quantization, PTQ) は，軽量化のための簡単かつ有効な手法である．様々な PTQ 手法が検討される中で，対数量子化は 4 ビット以下の超低精度において高い性能を示している．そこで本稿では，更なる性能向上のため，重みと活性値の各々に異なる対数ベースの量子化器を組み合わせる手法を提案する．重みの量子化では，分布柔軟性の高いサブセット量子化 (Subset Quantization, SQ) を活用する．SQ は，ユニバーサルセットと呼ばれる 2 単語の加法で構成された対数値のセットから，データ分布に適した量子化点を探索する量子化器である．すべての可能な組み合わせを網羅的に探索するため，高精度な量子化点を得ることができる．一方で活性値の量子化では，計算効率の高い選択的 2 単語対数量子化 (Selective Two-word Log-scale Quantization, STLQ) を適用する．2 単語率を設定し，量子化誤差の大きい値を優先的に 2 単語で対数量子化することで，効率的に精度を向上させることができる．重みと活性値に異なる量子化手法を用いることで，精度の向上を達成している．大規模画像分類ベンチマークを用いた評価により，2～4 ビットの超低精度において，既存 PTQ 手法と比べて良い性能を達成した．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: Lightweighting neural networks are critical challenges for edge applications. Among various methods, Post Training Quantization (PTQ) is a simple and effective approach for reducing the size of Deep Neural Network (DNN) models. While various PTQ techniques have been explored, logarithmic quantization methods show high performance at ultra-low precision of 4 bits or less. In this manuscipt, we propose a method to combine different logarithmic-based quantizers to weights and activations. For weight quantization, Subset Quantization (SQ) is used, which offers high flexibility in handling distribution. SQ is a quantizer that searches for optimal quantization points suitable for the data distribution from a set of logarithmic values composed of two-word addends, called the universal set. Since all possible combinations are thoroughly searched, it is possible to obtain highly accurate quantization points. For activation quantization, we apply Selective Two-word Log-scale Quantization (STLQ), which is a more computationally efficient method. By setting a two-word rate and prioritizing the logarithmic quantization of values with large quantization errors, STLQ efficiently improves accuracy. By combining different quantization techniques for weights and activations, we achieve enhanced precision. Evaluation on large-scale image classification benchmarks shows that our method achieves better performance than existing PTQ techniques at ultra-low precision levels of 2 to 4 bits.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AA11451459
• 書誌情報: 研究報告システムとLSIの設計技術（SLDM）; 巻 2024-SLDM-207, 号 2, p. 1-6, 発行日 2024-11-05
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8639
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会