CNNにおける数値表現の遺伝的アルゴリズムを用いた最適化

• Item type: SIG Technical Reports(1)
• 公開日: 2018-07-23
• タイトル: CNNにおける数値表現の遺伝的アルゴリズムを用いた最適化
• タイトル / 言語: en
• タイトル: Optimization of Numerical Expression in CNN using Genetic Algorithm
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: 機械学習・ニューラルネットワーク
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 産業技術総合研究所／東京大学
• 著者所属: 産業技術総合研究所
• 著者所属: 産業技術総合研究所
• 著者所属: 産業技術総合研究所
• 著者所属: 産業技術総合研究所／東京大学
• 著者所属: 東京大学／産業技術総合研究所
• 著者所属(英): en
• 著者所属(英): National Insutitute of Advanced Industrial Science And Technology / The University of Tokyo
• 著者所属(英): en
• 著者所属(英): National Insutitute of Advanced Industrial Science And Technology
• 著者所属(英): en
• 著者所属(英): National Insutitute of Advanced Industrial Science And Technology
• 著者所属(英): en
• 著者所属(英): National Insutitute of Advanced Industrial Science And Technology
• 著者所属(英): en
• 著者所属(英): National Insutitute of Advanced Industrial Science And Technology / The University of Tokyo
• 著者所属(英): en
• 著者所属(英): The University of Tokyo / National Insutitute of Advanced Industrial Science And Technology
• 著者名: 野上, 和加奈; 池上, 努; 大内, 真一; 高野, 了成; 岸, 裕真; 工藤, 知宏
• 著者名(英): Wakana, Nogami; Tsutomu, Ikegami; Shin-ichi, O'uchi; Ryousei, Takano; Yuma, Kishi; Tomohiro, Kudoh
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 畳み込みニューラルネットワーク (CNN) による画像認識の精度は年々向上しており，それに伴ってモデルはより複雑で大きなものになってきている．モデルサイズを削減するための工夫の一つとして数値表現の bit 幅を削減する手法がある．これまで浮動小数点型 ・ 固定小数点型などを用いて bit 幅を削減する取り組みが多く行われている．その目的は，(1) 少ない bit 幅による (2) 容易な演算によって，(3) 高い正解率を得ることである．演算の容易性を考えると浮動小数点型や固定小数点型を用いることは適切である．そこで我々は可変ビンサイズ量子化と呼ぶ手法を導入し，ビンサイズを遺伝的アルゴリズムを用いて最適化することで bit 幅提言 ・ 正解率向上の観点から最適な数値表現を求める実験を行った．今回は推論時の学習済みパラメータの量子化を対象にした．結果として実験に用いたモデルに対して，固定小数点表現や浮動小数点表現を上回る正解率を出すことができる数値表現を求めることに成功した．その数値表現は比較的固定小数点型に近いものであった．また， この数値表現を用いることで正解率を低下させずに 3 bit まで bit 幅を削減できることがわかった．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: The accuracy of image recognition by the convolutional neural network (CNN) has been improving year by year, and the models are becoming more complicated and larger. One way to reduce the model size is to use a low bit-width numerical expression. There are many researches to reduce the bit-width by using floating-point, flxed-point, ternary, and binary arithmetics, and so on. They are aiming at (1) simplifying the computation (2) by introducing a less-bit arithmetic (3) to keep the image recognition accuracy. Considering ease of computation, it is appropriate to use floating-point and flxed-point. Therefore, we introduced a variable bin size quantization and found the appropriate numerical expression from the viewpoint of low bit-width and high accuracy by optimizing the bin size using a genetic algorithm. In this study, we targeted on quantization of trained parameters at inference. As a result, we succeeded in finding a numerical expression that can give higher Top-1 Accuracy than when using fixed-point or floating-point type for our CNN models. The numerical expression is relatively similar to fixed-point type. We also found that by using this numerical expression, it is possible to reduce the bit-width down to 3-bit without decreasing the accuracy.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10096105
• 書誌情報: 研究報告システム・アーキテクチャ（ARC）; 巻 2018-ARC-232, 号 27, p. 1-6, 発行日 2018-07-23
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8574
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会