CNN計算の省メモリ化のためのカーネル・クラスタリング手法の検討

• Item type: SIG Technical Reports(1)
• 公開日: 2018-02-28
• タイトル: CNN計算の省メモリ化のためのカーネル・クラスタリング手法の検討
• タイトル / 言語: en
• タイトル: A Study of Kernel Clustering for Reducing Memory Footprint of CNN
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: 深層学習
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 電気通信大学
• 著者所属: 電気通信大学
• 著者所属: 名古屋工業大学
• 著者所属: 名古屋工業大学
• 著者所属: 電気通信大学
• 著者所属: 電気通信大学
• 著者所属(英): en
• 著者所属(英): University of Electro-Comniunications
• 著者所属(英): en
• 著者所属(英): University of Electro-Comniunications
• 著者所属(英): en
• 著者所属(英): Nagoya Institute of Technology
• 著者所属(英): en
• 著者所属(英): Nagoya Institute of Technology
• 著者所属(英): en
• 著者所属(英): University of Electro-Comniunications
• 著者所属(英): en
• 著者所属(英): University of Electro-Comniunications
• 著者名: 松井, 優樹; 三輪, 忍; 進藤, 智司; 津邑, 公暁; 八巻, 隼人; 本多, 弘樹
• 著者名(英): Yuki, Matsui; Shinobu, Miwa; Satoshi Shindo; Tomoaki, Tsumura; Hayato, Yamaki; Hiroki, Honda
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 近年，機械学習の中でも畳み込みニューラル ・ ネットワーク (CNN) が高い認識精度を示すことから，大きな注目を集めている．CNN は深層ニューラル ・ ネットワークであり，規模が大きくパラメータ数も多いことが問題としてあげられる．そのため，個々のパラメータに着目したデータ圧縮手法など，ネットワーク規模を縮小する研究が行われている．しかしながら，CNN 特有の重み (カーネル) 構造の類似性に着目したデータ圧縮手法は報告されていない．そこで我々は，CNN 計算におけるカーネルの構造的意味を持つ最小の単位である 2 次元カーネルの類似性に着目し，クラスタリングと近似を行うことにより CNN 計算の省メモリ化を行う手法を提案している．我々の過去の報告では，少ないカーネル数の CNN に対して少ないクラスタ数でクラスタリングを行った際の提案手法の有効性を示したが，本報告では，より大規模な CNN に対して様々なクラスタ数でクラスタリングを行った際の結果を示す．VGG-16 の全カーネルに対して本手法を適用した結果，最大で 85.6% のカーネルデータを削減しても認識精度を 80% 以上に保つことができた本提案手法は Pruning や量子化と直交した技術であり，これらを併用することでさらなるデータ圧縮が可能である．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: Convolutional Neural Network (CNN) is widely used in the field of image recognition due to the high recognition accuracy. CNN is a sort of deep and large-scale neural networks so that it has numbers of parameters to be used for the computation. There have been many studies of compressing the data of CNN such as reducing the numbers of parameters and bits of parameters. Meanwhile, a well-trained CNN has very regular structure (i.e., 2D kernels) available for data compression, but no study of exploiting this structure for data compression in CNN has been reported so far. We have proposed a technique that clusters 2D kernels trained and replaces them with representative 2D kernels for reducing the number of parameters in CNN. In this paper, we report the experimental results of clustering the overall 2D kernels within VGG-16 with various numbers of clusters. Om experimental results show that the proposed technique can reduce the number of kernels by 85.6% in exchange for a 9% reduction in the recognition accuracy. The proposed technique is orthogonal to the other approaches of compressing the data in CNN, such as pruning and quantization; hence, they can be used together to obtain further gains.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AA11451459
• 書誌情報: 研究報告システムとLSIの設計技術（SLDM）; 巻 2018-SLDM-183, 号 32, p. 1-6, 発行日 2018-02-28
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8639
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会