ログイン 新規登録
言語:

WEKO3

  • トップ
  • ランキング
To
lat lon distance
To

Field does not validate



インデックスリンク

インデックスツリー

メールアドレスを入力してください。

WEKO

One fine body…

WEKO

One fine body…

アイテム

  1. 研究報告
  2. システムとLSIの設計技術(SLDM)
  3. 2024
  4. 2024-SLDM-207

ニューラルネットワークの低ビット量子化手法の検討

https://ipsj.ixsq.nii.ac.jp/records/240484
https://ipsj.ixsq.nii.ac.jp/records/240484
a288875b-5831-4aff-a103-9bfb41c06481
名前 / ファイル ライセンス アクション
IPSJ-SLDM24207002.pdf IPSJ-SLDM24207002.pdf (1.8 MB)
Copyright (c) 2024 by the Institute of Electronics, Information and Communication Engineers This SIG report is only available to those in membership of the SIG.
SLDM:会員:¥0, DLIB:会員:¥0
Item type SIG Technical Reports(1)
公開日 2024-11-05
タイトル
タイトル ニューラルネットワークの低ビット量子化手法の検討
タイトル
言語 en
タイトル Low-bit Quantization Methods for Neural Networks
言語
言語 jpn
資源タイプ
資源タイプ識別子 http://purl.org/coar/resource_type/c_18gh
資源タイプ technical report
著者所属
早稲田大学
著者所属
早稲田大学
著者所属
早稲田大学
著者所属(英)
en
Waseda University
著者所属(英)
en
Waseda University
著者所属(英)
en
Waseda University
著者名 和田, 絵美

× 和田, 絵美

和田, 絵美

Search repository
木村, 晋二

× 木村, 晋二

木村, 晋二

Search repository
著者名(英) Emi, Wada

× Emi, Wada

en Emi, Wada

Search repository
Shinji, Kimura

× Shinji, Kimura

en Shinji, Kimura

Search repository
論文抄録
内容記述タイプ Other
内容記述 ニューラルネットワークの軽量化はエッジ応用において重要な課題である.中でも DNN (Deep Neural Network) モデルの学習後の量子化 (Post Training Quantization, PTQ) は,軽量化のための簡単かつ有効な手法である.様々な PTQ 手法が検討される中で,対数量子化は 4 ビット以下の超低精度において高い性能を示している.そこで本稿では,更なる性能向上のため,重みと活性値の各々に異なる対数ベースの量子化器を組み合わせる手法を提案する.重みの量子化では,分布柔軟性の高いサブセット量子化 (Subset Quantization, SQ) を活用する.SQ は,ユニバーサルセットと呼ばれる 2 単語の加法で構成された対数値のセットから,データ分布に適した量子化点を探索する量子化器である.すべての可能な組み合わせを網羅的に探索するため,高精度な量子化点を得ることができる.一方で活性値の量子化では,計算効率の高い選択的 2 単語対数量子化 (Selective Two-word Log-scale Quantization, STLQ) を適用する.2 単語率を設定し,量子化誤差の大きい値を優先的に 2 単語で対数量子化することで,効率的に精度を向上させることができる.重みと活性値に異なる量子化手法を用いることで,精度の向上を達成している.大規模画像分類ベンチマークを用いた評価により,2~4 ビットの超低精度において,既存 PTQ 手法と比べて良い性能を達成した.
論文抄録(英)
内容記述タイプ Other
内容記述 Lightweighting neural networks are critical challenges for edge applications. Among various methods, Post Training Quantization (PTQ) is a simple and effective approach for reducing the size of Deep Neural Network (DNN) models. While various PTQ techniques have been explored, logarithmic quantization methods show high performance at ultra-low precision of 4 bits or less. In this manuscipt, we propose a method to combine different logarithmic-based quantizers to weights and activations. For weight quantization, Subset Quantization (SQ) is used, which offers high flexibility in handling distribution. SQ is a quantizer that searches for optimal quantization points suitable for the data distribution from a set of logarithmic values composed of two-word addends, called the universal set. Since all possible combinations are thoroughly searched, it is possible to obtain highly accurate quantization points. For activation quantization, we apply Selective Two-word Log-scale Quantization (STLQ), which is a more computationally efficient method. By setting a two-word rate and prioritizing the logarithmic quantization of values with large quantization errors, STLQ efficiently improves accuracy. By combining different quantization techniques for weights and activations, we achieve enhanced precision. Evaluation on large-scale image classification benchmarks shows that our method achieves better performance than existing PTQ techniques at ultra-low precision levels of 2 to 4 bits.
書誌レコードID
収録物識別子タイプ NCID
収録物識別子 AA11451459
書誌情報 研究報告システムとLSIの設計技術(SLDM)

巻 2024-SLDM-207, 号 2, p. 1-6, 発行日 2024-11-05
ISSN
収録物識別子タイプ ISSN
収録物識別子 2188-8639
Notice
SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
出版者
言語 ja
出版者 情報処理学会
戻る
0
views
See details
Views

Versions

Ver.1 2025-01-19 07:57:54.274967
Show All versions

Share

Mendeley Twitter Facebook Print Addthis

Cite as

エクスポート

OAI-PMH
  • OAI-PMH JPCOAR
  • OAI-PMH DublinCore
  • OAI-PMH DDI
Other Formats
  • JSON
  • BIBTEX

Confirm


Powered by WEKO3


Powered by WEKO3