@techreport{oai:ipsj.ixsq.nii.ac.jp:00231062, author = {劉, 世芾 and 筒井, 政成 and 金子, 竜也 and 高前田, 伸也}, issue = {23}, month = {Nov}, note = {エッジデバイスにおける深層学習モデルの推論は,その消費電力や計算資源が限られているため,低ビット幅の整数演算で行うことが望ましい.連合学習などのアプリケーションでは推論に加えて,エッジデバイス上での学習を要求する.本研究では,重み・活性値・勾配がいずれも 8 ビット整数であるニューラルネットワークの学習手法を,オプティマイザの工夫とともに紹介し,画像認識タスクにおいて通常の学習と同程度の精度を達成できることを示す.また,通常の整数学習がうまく機能しない fine-tuning タスクにおいて,隠れニューラルネットワークを用いた整数学習の適用を試みる.これは重みを更新する代わりに,モデルの中から良い部分ネットワークを発見するというものである.枝刈りによって fine-tuning ができること,そして,これを利用すれば整数演算でも fine-tuning ができることを実験によって示す.}, title = {隠れニューラルネットワークにおける整数学習手法の検討}, year = {2023} }