2026-04-18T07:41:59Z https://ipsj.ixsq.nii.ac.jp/oai

oai:ipsj.ixsq.nii.ac.jp:00231062 2025-01-19T10:53:26Z 1164:1579:11081:11407

隠れニューラルネットワークにおける整数学習手法の検討 劉, 世芾 筒井, 政成 金子, 竜也 高前田, 伸也 AIとグラフ エッジデバイスにおける深層学習モデルの推論は，その消費電力や計算資源が限られているため，低ビット幅の整数演算で行うことが望ましい．連合学習などのアプリケーションでは推論に加えて，エッジデバイス上での学習を要求する．本研究では，重み・活性値・勾配がいずれも 8 ビット整数であるニューラルネットワークの学習手法を，オプティマイザの工夫とともに紹介し，画像認識タスクにおいて通常の学習と同程度の精度を達成できることを示す．また，通常の整数学習がうまく機能しない fine-tuning タスクにおいて，隠れニューラルネットワークを用いた整数学習の適用を試みる．これは重みを更新する代わりに，モデルの中から良い部分ネットワークを発見するというものである．枝刈りによって fine-tuning ができること，そして，これを利用すれば整数演算でも fine-tuning ができることを実験によって示す． technical report 情報処理学会 2023-11-28 application/pdf 研究報告システム・アーキテクチャ（ARC） 23 2023-ARC-255 1 6 2188-8574 AN10096105 https://ipsj.ixsq.nii.ac.jp/record/231062/files/IPSJ-ARC23255023.pdf jpn