アンサンブル学習を用いたスパースCNNのFPGA実装に関して

• Item type: SIG Technical Reports(1)
• 公開日: 2020-01-15
• タイトル: アンサンブル学習を用いたスパースCNNのFPGA実装に関して
• タイトル / 言語: en
• タイトル: Many Universal Convolution Cores for Ensemble Sparse Convolutional Neural Networks
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: ニューラルネットワーク
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 東京工業大学工学院情報通信系
• 著者所属: 東京工業大学工学院情報通信系
• 著者所属: 東京工業大学工学院情報通信系
• 著者所属: 東京工業大学工学院情報通信系
• 著者所属: 東京工業大学工学院情報通信系
• 著者所属(英): en
• 著者所属(英): Department of Information and Communications Engineering, School of Engineering, Tokyo Institute of Technology
• 著者所属(英): en
• 著者所属(英): Department of Information and Communications Engineering, School of Engineering, Tokyo Institute of Technology
• 著者所属(英): en
• 著者所属(英): Department of Information and Communications Engineering, School of Engineering, Tokyo Institute of Technology
• 著者所属(英): en
• 著者所属(英): Department of Information and Communications Engineering, School of Engineering, Tokyo Institute of Technology
• 著者所属(英): en
• 著者所属(英): Department of Information and Communications Engineering, School of Engineering, Tokyo Institute of Technology
• 著者名: 倉持, 亮佑; 佐田, 悠生; 下田, 将之; 佐藤, 真平; 中原, 啓貴
• 著者名(英): Ryosuke, Kuramochi; Youki, Sada; Masayuki, Shimoda; Shimpei, Sato; Hiroki, Nakahara
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 畳み込みニューラルネットワーク (CNN) は主に画像を対象としたタスクに広く用いられており，従来の手法と比較して非常に高い精度が得られている．しかし，CNN の演算には多くの積和演算が必要であるため消費電力が高く，また，近年ではより高い認識精度が求められている．これらに対し，本研究では CNN にスパース化を行うことで弱学習器を生成し，それらのアンサンブルモデルを構築する手法を提案する．アンサンブルモデルの認識精度と推論速度にはトレードオフの関係があり，スパース率 (重みの値が 0 の割合) を適切に調節することにより，認識精度を向上させると共に，CNN 実行を高速化した．また，本研究では様々な畳み込み演算を実現するための汎用畳み込みコアを提案し，汎用畳み込みコアを多数用いてデータフローパイプラインアーキテクチャを実現することで，スパースな重みを持つ CNN のアンサンブルモデルを効率的に実行することを可能とし，Xilinx Kintex UltraScale+FPGA 上に汎用畳み込みコアを実装し，スパース CNN のアンサンブルモデルを実行した際の認識精度と推論速度を測定した．デスクトップ GPU による実行と比べて 3.09 倍高速に動作し，4.20 倍消費電力が低く，電力効率が 13.33 倍高いという結果が得られた．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: A convolutional neural network (CNN) is one of the most successful neural networks and widely used for computer vision tasks. However, it requires a massive number of multiplication and accumulation (MAC) computa tions with high-power consumption, and higher recognition accuracy is desired for modern tasks. In the paper, we apply a sparseness technique to generate a weak classifier to build an ensemble CNN. We control sparse (zero weight) ratio to make an excellent performance and better recognition accuracy. We propose a universal convolution core to realize variations of modern convolutional operations, and extend it to many cores with pipelining architecture to achieve high-throughput operation. By setting the sparsity ratio and the number of predictors appropriately, high-speed architectures are realized on the many universal convolution cores while the recognition accuracy is improved compared to the conventional single CNN realization. We implemented the prototype of many universal convolution cores on the Xilinx Kintex UltraScale+ FPGA, and compared with the desktop CPU realization, it is 3.09 times faster, 4.20 times lower power, and 13.33 times better as for the performance per power.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10096105
• 書誌情報: 研究報告システム・アーキテクチャ（ARC）; 巻 2020-ARC-239, 号 12, p. 1-6, 発行日 2020-01-15
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8574
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会