MLP-Mixerの量子化とその性能評価

• Item type: SIG Technical Reports(1)
• 公開日: 2024-06-13
• タイトル: MLP-Mixerの量子化とその性能評価
• タイトル / 言語: en
• タイトル: Performance Evaluation of Quantized MLP-Mixer
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: 情報論的学習理論と機械学習2
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 名城大学大学院理工学研究科
• 著者所属: 名城大学情報工学部
• 著者所属: 名城大学情報工学部
• 著者所属: 名城大学情報工学部
• 著者所属(英): en
• 著者所属(英): Graduate School of Science and Technology, Meijo University
• 著者所属(英): en
• 著者所属(英): Faculty of Informaton Engineering, Meijo University
• 著者所属(英): en
• 著者所属(英): Faculty of Informaton Engineering, Meijo University
• 著者所属(英): en
• 著者所属(英): Faculty of Informaton Engineering, Meijo University
• 著者名: 熊谷, 瞭; 竹本, 修; 野崎, 佑典; 吉川, 雅弥
• 著者名(英): Ryo, Kumagai; Shu, Takemoto; Yusuke, Nozaki; Masaya, Yoshikawa
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: MLP-Mixer は多層パーセプトロン（Multi Layer Perceptron）のみからなる画像分類モデルであり，従来の畳込みニューラルネットワーク（CNNs）や Vision Transformer（ViT）等の最新モデルに対して競争力があり，またスループットも優れているとして注目を集めている．そこで本研究では，ハードウェアへの実装を目指した MLP-Mixer の量子化について提案し，実験によりその有効性を評価する．その結果，値をある程度低精度化した場合でも MLP-Mixer の訓練は可能であり，4 ビットおよび 8 ビット整数による表現では，32 ビット浮動小数点数による高精度なモデルと比較した場合においても精度の面で遜色ないことが示された．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: MLP-Mixer is an image classification model consisting only of multi-layer perceptrons, and is competitive with the latest models such as conventional convolutional neural networks (CNNs) and Vision Transformers (ViT), and has high throughput. Therefore, in this study, we propose a quantization method for MLP-Mixer aimed at implementing it in hardware, and evaluate its effectiveness through experiments. The result shows that it is possible to train MLP-Mixer even when the precision of the values is reduced to some extent. In addition, the precision of representations using 4-bit and 8-bit integers is competitive even when compared with high-precision models using 32-bit floating point numbers.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10505667
• 書誌情報: 研究報告数理モデル化と問題解決（MPS）; 巻 2024-MPS-148, 号 11, p. 1-6, 発行日 2024-06-13
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8833
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会