対数量子化による深層ニューラルネットワークのメモリ量削減

• Item type: SIG Technical Reports(1)
• 公開日: 2017-05-15
• タイトル: 対数量子化による深層ニューラルネットワークのメモリ量削減
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: アルゴリズム
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 北海道大学大学院情報科学研究科
• 著者所属: 北海道大学大学院情報科学研究科
• 著者所属: 北海道大学大学院情報科学研究科
• 著者所属: 北海道大学大学院情報科学研究科
• 著者所属: 北海道大学大学院情報科学研究科
• 著者所属: 北海道大学大学院情報科学研究科
• 著者所属: 北海道大学大学院情報科学研究科
• 著者所属: 北海道大学大学院情報科学研究科
• 著者所属: 北海道大学大学院情報科学研究科
• 著者所属(英): en
• 著者所属(英): Graduate School of Information Science and Technology, Hokkaido University
• 著者所属(英): en
• 著者所属(英): Graduate School of Information Science and Technology, Hokkaido University
• 著者所属(英): en
• 著者所属(英): Graduate School of Information Science and Technology, Hokkaido University
• 著者所属(英): en
• 著者所属(英): Graduate School of Information Science and Technology, Hokkaido University
• 著者所属(英): en
• 著者所属(英): Graduate School of Information Science and Technology, Hokkaido University
• 著者所属(英): en
• 著者所属(英): Graduate School of Information Science and Technology, Hokkaido University
• 著者所属(英): en
• 著者所属(英): Graduate School of Information Science and Technology, Hokkaido University
• 著者所属(英): en
• 著者所属(英): Graduate School of Information Science and Technology, Hokkaido University
• 著者所属(英): en
• 著者所属(英): Graduate School of Information Science and Technology, Hokkaido University
• 著者名: 廣瀬, 一俊; 植松, 瞭太; 安藤, 洸太; 折茂, 健太郎; 植吉, 晃大; 高前田, 伸也; 池辺, 将之; 浅井, 哲也; 本村, 真人
• 著者名(英): Kazutoshi, Hirose; Ryota, Uematsu; Kota, Ando; Kentaro, Orimo; Kodai, Ueyoshi; Shinya, Takamaeda; Masayuki, Ikebe; Tetsuya, Asai; Masato, Motomura
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 深層ニューラルネットワーク (DNN) の学習は多くのメモリを使用する．システムで利用可能なメモリ量が学習可能なネットワークの大きさを制限するため，消費メモリ量の削減が必要である．本研究ではデータ表現形式の最適化による学習時のメモリ量の削減方式を提案する．学習時に出現する勾配は 0 付近の値が多いため，数値を対数表現する対数量子化と呼ばれる手法を用いてそれぞれの値を表現するのに必要なビット量を削減する．DNN フレームワーク Chainer を用いて識別精度およびメモリ量を評価した．対数量子化適用による認識精度に対する影響，及びメモリ量を評価した．その結果，学習時に対数量子化適用による認識精度の低下は少なく，消費メモリ量は約 60% 削減できることが明らかになった．
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10096105
• 書誌情報: 研究報告システム・アーキテクチャ（ARC）; 巻 2017-ARC-226, 号 9, p. 1-6, 発行日 2017-05-15
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8574
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会