電力性能効率に優れた二値化ディープニューラルネットワークのFPGA実装

• Item type: SIG Technical Reports(1)
• 公開日: 2017-01-16
• タイトル: 電力性能効率に優れた二値化ディープニューラルネットワークのFPGA実装
• タイトル / 言語: en
• タイトル: Implementation of Binarized Deep Neural Network for FPGA Considering Power Performance Enhancement
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: ニューラルネット
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 東京工業大学工学院情報通信系
• 著者所属: 東京工業大学工学院情報通信系
• 著者所属: 北海道大学大学院情報科学研究科
• 著者所属(英): en
• 著者所属(英): Department of Information and Communications Engineering, School of Engineering, Tokyo Institute of Technology, Japan
• 著者所属(英): en
• 著者所属(英): Department of Information and Communications Engineering, School of Engineering, Tokyo Institute of Technology, Japan
• 著者所属(英): en
• 著者所属(英): Graduate School of Information Science and Technology, Hokkaido University, Japan
• 著者名: 米川, 晴義; 中原, 啓貴; 本村, 真人
• 著者名(英): Haruyoshi, Yonekawa; Hiroki, Nakahara; Masato, Motomura
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 画像識別等の組込み機器では学習済み畳み込みニューラルネットワーク (CNN : Convolutional Neural Network) の識別高速化と低消費電力化が求められている．CNN の演算の 90% 以上は 2 次元畳み込みであり，主に積和 (MAC : Multiply - Accumulation) 演算である．従って外部メモリとのデータ削減と積和演算回路の削減が必要である．近年，CNN の入力値と重みを 2 値 (-1/+1) に制限した 2 値化 CNN が提案されている．しかし，認識精度を維持するためにバッチ正規化が必要であった．本稿はバッチ正規化を行う 2 値化 CNN と等価な整数値のバイアス値をもつ 2 値化 CNN を解析的に求める．提案する 2 値化 CNN はバッチ正規化用の回路が不要なため，メモリアクセスと回路規模をさらに抑えることができる．TensorFlow チュートリアル 5 層 CNN を NetFPGA - 1G - CML FPGA ボード上に実装し，既存の FPGA 実装法と比較を行った．提案手法は,最新の実装法と比較して面積効率で 19.41 倍優れており，消費電力効率で 2.02 倍優れていた．従って，2 値化 CNN は特に面積効率に優れているため安価な小型 FPGA と SRAM を組合せて実現することができ，組込み用途に適している．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: A pre-trained convolutional neural network (CNN) is a feed-forward omputation perspective, which is widely used for the embedded systems, requires high power-and-area efficiency. This paper realizes a binarized CNN which treats only binary 2-values (+1/-1) for the inputs and the weights. In this case, the multiplier is replaced into an XNOR circuit instead of a dedicated DSP block. Both binarized inputs and weights is more suitable for hardware implementation. However, the conventional binarized CNN requires the batch normalization techniques to retain the classification accuracy. In that case, the additional multiplication and addition require extra hardware, also, the memory access for its parameters reduces system performance. In this paper, we propose the batch normalization free Binarized CNN which is mathematically equivalent to the CNN using batch normalization. The proposed CNN treats the binarized inputs and weights with the integer biases. We implemented the TensorFlow tutorial CNN, consisting of 5-layers, on the NetFPGA-SUME FPGA board, which has the Xilinx Inc. Virtex 7 FPGA and three off-chip QDR Il-h Synchronous SRAMs. Compared with the conventional FPGA realizations, the power efficiency is 2.02 times lower, and the area efficiency is 19.41 times smaller. Thus, our method is suitable for the embedded computer system.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10096105
• 書誌情報: 研究報告システム・アーキテクチャ（ARC）; 巻 2017-ARC-224, 号 22, p. 1-6, 発行日 2017-01-16
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8574
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会