量子化深層学習のための精度シミュレーション

• Item type: SIG Technical Reports(1)
• 公開日: 2021-03-18
• タイトル: 量子化深層学習のための精度シミュレーション
• タイトル / 言語: en
• タイトル: A Precision Simulator of Deep Neural Network Quantization
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: 機械学習
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: (株)富士通研究所
• 著者所属: (株)富士通研究所
• 著者所属: (株)富士通研究所
• 著者所属(英): en
• 著者所属(英): Fujitsu Laboratories, Ltd.
• 著者所属(英): en
• 著者所属(英): Fujitsu Laboratories, Ltd.
• 著者所属(英): en
• 著者所属(英): Fujitsu Laboratories, Ltd.
• 著者名: 田宮, 豊; 橋本, 鉄太郎; 川辺, 幸仁
• 著者名(英): Yutaka, Tamiya; Tetsutaro, Hashimoto; Yukihito, Kawabe
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 深層学習の高速化手法として，量子化によるデータ削減の有効性が知られている．その一方で，学習精度劣化の可能性があるため，実装対象であるハードウェアとニューラルネットワークに適した量子化方式を求める必要がある．本論文では，最適な量子化方式を決定するために，汎用の量子化精度シミュレータを開発した．精度シミュレーションでは，様々な量子化方式 (データ型，スキーム，量子化パラメタ) を指定でき，さらに，複数の量子化方式をネットワークのレイヤ毎に，もしくは，activation，gradient，weight 毎に組み合わせることが可能である．本精度シミュレータは，PyTorch の Quantization-Aware Training (QAT) を用いて実装したことにより，シミュレーション時間は，量子化無しの場合の 2.7 倍以下に抑えることが可能となった．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: The effectiveness of data reduction by quantization is known as a method for speeding up deep learning. On the other hand, since there is a possibility that the learning accuracy tends to be worse, it is necessary to find a quantization method suitable for the hardware to be implemented and the neural network. In this paper, we have developed a general-purpose quantization accuracy simulator to determine the optimum quantization method. In the accuracy simulation, various quantization methods (data type, scheme, quantization parameter) can be specified, and multiple quantization methods can be combined for each layer of the network or for each activation, gradient, weight. Is. By implementing this precision simulator based on PyTorch's Quantization-Aware Training (QAT), the simulation time can be suppressed to 2.7 times or less of his time without quantization.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10096105
• 書誌情報: 研究報告システム・アーキテクチャ（ARC）; 巻 2021-ARC-244, 号 44, p. 1-6, 発行日 2021-03-18
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8574
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会