@techreport{oai:ipsj.ixsq.nii.ac.jp:00210493,
 author = {田宮, 豊 and 橋本, 鉄太郎 and 川辺, 幸仁 and Yutaka, Tamiya and Tetsutaro, Hashimoto and Yukihito, Kawabe},
 issue = {44},
 month = {Mar},
 note = {深層学習の高速化手法として，量子化によるデータ削減の有効性が知られている．その一方で，学習精度劣化の可能性があるため，実装対象であるハードウェアとニューラルネットワークに適した量子化方式を求める必要がある．本論文では，最適な量子化方式を決定するために，汎用の量子化精度シミュレータを開発した．精度シミュレーションでは，様々な量子化方式 (データ型，スキーム，量子化パラメタ) を指定でき，さらに，複数の量子化方式をネットワークのレイヤ毎に，もしくは，activation，gradient，weight 毎に組み合わせることが可能である．本精度シミュレータは，PyTorch の Quantization-Aware Training (QAT) を用いて実装したことにより，シミュレーション時間は，量子化無しの場合の 2.7 倍以下に抑えることが可能となった．, The effectiveness of data reduction by quantization is known as a method for speeding up deep learning. On the other hand, since there is a possibility that the learning accuracy tends to be worse, it is necessary to find a quantization method suitable for the hardware to be implemented and the neural network. In this paper, we have developed a general-purpose quantization accuracy simulator to determine the optimum quantization method. In the accuracy simulation, various quantization methods (data type, scheme, quantization parameter) can be specified, and multiple quantization methods can be combined for each layer of the network or for each activation, gradient, weight. Is. By implementing this precision simulator based on PyTorch's Quantization-Aware Training (QAT), the simulation time can be suppressed to 2.7 times or less of his time without quantization.},
 title = {量子化深層学習のための精度シミュレーション},
 year = {2021}
}