@techreport{oai:ipsj.ixsq.nii.ac.jp:00234838,
 author = {熊谷, 瞭 and 竹本, 修 and 野崎, 佑典 and 吉川, 雅弥 and Ryo, Kumagai and Shu, Takemoto and Yusuke, Nozaki and Masaya, Yoshikawa},
 issue = {11},
 month = {Jun},
 note = {MLP-Mixer は多層パーセプトロン（Multi Layer Perceptron）のみからなる画像分類モデルであり，従来の畳込みニューラルネットワーク（CNNs）や Vision Transformer（ViT）等の最新モデルに対して競争力があり，またスループットも優れているとして注目を集めている．そこで本研究では，ハードウェアへの実装を目指した MLP-Mixer の量子化について提案し，実験によりその有効性を評価する．その結果，値をある程度低精度化した場合でも MLP-Mixer の訓練は可能であり，4 ビットおよび 8 ビット整数による表現では，32 ビット浮動小数点数による高精度なモデルと比較した場合においても精度の面で遜色ないことが示された．, MLP-Mixer is an image classification model consisting only of multi-layer perceptrons, and is competitive with the latest models such as conventional convolutional neural networks (CNNs) and Vision Transformers (ViT), and has high throughput. Therefore, in this study, we propose a quantization method for MLP-Mixer aimed at implementing it in hardware, and evaluate its effectiveness through experiments. The result shows that it is possible to train MLP-Mixer even when the precision of the values is reduced to some extent. In addition, the precision of representations using 4-bit and 8-bit integers is competitive even when compared with high-precision models using 32-bit floating point numbers.},
 title = {MLP-Mixerの量子化とその性能評価},
 year = {2024}
}