2024-03-28T17:42:38Zhttps://ipsj.ixsq.nii.ac.jp/ej/?action=repository_oaipmhoai:ipsj.ixsq.nii.ac.jp:001789072023-04-27T10:00:04Z01164:01579:09047:09165
対数量子化による深層ニューラルネットワークのメモリ量削減jpnアルゴリズムhttp://id.nii.ac.jp/1001/00178819/Technical Reporthttps://ipsj.ixsq.nii.ac.jp/ej/?action=repository_action_common_download&item_id=178907&item_no=1&attribute_id=1&file_no=1Copyright (c) 2017 by the Institute of Electronics, Information and Communication Engineers This SIG report is only available to those in membership of the SIG.北海道大学大学院情報科学研究科北海道大学大学院情報科学研究科北海道大学大学院情報科学研究科北海道大学大学院情報科学研究科北海道大学大学院情報科学研究科北海道大学大学院情報科学研究科北海道大学大学院情報科学研究科北海道大学大学院情報科学研究科北海道大学大学院情報科学研究科廣瀬, 一俊植松, 瞭太安藤, 洸太折茂, 健太郎植吉, 晃大高前田, 伸也池辺, 将之浅井, 哲也本村, 真人深層ニューラルネットワーク (DNN) の学習は多くのメモリを使用する.システムで利用可能なメモリ量が学習可能なネットワークの大きさを制限するため,消費メモリ量の削減が必要である.本研究ではデータ表現形式の最適化による学習時のメモリ量の削減方式を提案する.学習時に出現する勾配は 0 付近の値が多いため,数値を対数表現する対数量子化と呼ばれる手法を用いてそれぞれの値を表現するのに必要なビット量を削減する.DNN フレームワーク Chainer を用いて識別精度およびメモリ量を評価した.対数量子化適用による認識精度に対する影響,及びメモリ量を評価した.その結果,学習時に対数量子化適用による認識精度の低下は少なく,消費メモリ量は約 60% 削減できることが明らかになった.AN10096105研究報告システム・アーキテクチャ(ARC)2017-ARC-2269162017-05-152188-85742017-05-10