WEKO3
アイテム
隠れニューラルネットワークにおける整数学習手法の検討
https://ipsj.ixsq.nii.ac.jp/records/231101
https://ipsj.ixsq.nii.ac.jp/records/2311015ab68ee0-9263-45d9-998e-1f4bdda1d74f
| 名前 / ファイル | ライセンス | アクション |
|---|---|---|
IPSJ-HPC23192023.pdf (2.4 MB)
|
Copyright (c) 2023 by the Institute of Electronics, Information and Communication Engineers This SIG report is only available to those in membership of the SIG.
|
|
| HPC:会員：¥0, DLIB:会員：¥0 | ||
| Item type | SIG Technical Reports(1) | |||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 公開日 | 2023-11-28 | |||||||||||||
| タイトル | ||||||||||||||
| タイトル | 隠れニューラルネットワークにおける整数学習手法の検討 | |||||||||||||
| 言語 | ||||||||||||||
| 言語 | jpn | |||||||||||||
| キーワード | ||||||||||||||
| 主題Scheme | Other | |||||||||||||
| 主題 | AIとグラフ | |||||||||||||
| 資源タイプ | ||||||||||||||
| 資源タイプ識別子 | http://purl.org/coar/resource_type/c_18gh | |||||||||||||
| 資源タイプ | technical report | |||||||||||||
| 著者所属 | ||||||||||||||
| 東京大学 | ||||||||||||||
| 著者所属 | ||||||||||||||
| 東京大学 | ||||||||||||||
| 著者所属 | ||||||||||||||
| 東京大学 | ||||||||||||||
| 著者所属 | ||||||||||||||
| 東京大学 | ||||||||||||||
| 著者名 |
劉, 世芾
× 劉, 世芾
× 筒井, 政成
× 金子, 竜也
× 高前田, 伸也
|
|||||||||||||
| 論文抄録 | ||||||||||||||
| 内容記述タイプ | Other | |||||||||||||
| 内容記述 | エッジデバイスにおける深層学習モデルの推論は，その消費電力や計算資源が限られているため，低ビット幅の整数演算で行うことが望ましい．連合学習などのアプリケーションでは推論に加えて，エッジデバイス上での学習を要求する．本研究では，重み・活性値・勾配がいずれも 8 ビット整数であるニューラルネットワークの学習手法を，オプティマイザの工夫とともに紹介し，画像認識タスクにおいて通常の学習と同程度の精度を達成できることを示す．また，通常の整数学習がうまく機能しない fine-tuning タスクにおいて，隠れニューラルネットワークを用いた整数学習の適用を試みる．これは重みを更新する代わりに，モデルの中から良い部分ネットワークを発見するというものである．枝刈りによって fine-tuning ができること，そして，これを利用すれば整数演算でも fine-tuning ができることを実験によって示す． | |||||||||||||
| 書誌レコードID | ||||||||||||||
| 収録物識別子タイプ | NCID | |||||||||||||
| 収録物識別子 | AN10463942 | |||||||||||||
| 書誌情報 |
研究報告ハイパフォーマンスコンピューティング（HPC） 巻 2023-HPC-192, 号 23, p. 1-6, 発行日 2023-11-28 |
|||||||||||||
| ISSN | ||||||||||||||
| 収録物識別子タイプ | ISSN | |||||||||||||
| 収録物識別子 | 2188-8841 | |||||||||||||
| Notice | ||||||||||||||
| SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc. | ||||||||||||||
| 出版者 | ||||||||||||||
| 言語 | ja | |||||||||||||
| 出版者 | 情報処理学会 | |||||||||||||
