スパースCNNの要求推論レイテンシに対するレイヤー毎のスパース率の自動設計

• Item type: Symposium(1)
• 公開日: 2022-08-24
• タイトル: スパースCNNの要求推論レイテンシに対するレイヤー毎のスパース率の自動設計
• タイトル / 言語: en
• タイトル: Automatic Design of Layer-by-Layer Pruning Ratio for Sparse CNN to Meet Inference Latency
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: 最適化
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_5794
• 資源タイプ: conference paper
• 著者所属: 東京工業大学
• 著者所属(英): en
• 著者所属(英): Tokyo Institute of Technology
• 著者名: 神宮司, 明良
• 著者名(英): Akira, Jinguji
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 組み込みシステムでは限られた計算資源でリアルタイムな処理が必要とされ，スパース化手法などによる CNN の計算量を削減することで推論レイテンシを短縮する方法が研究されている．CNN は多層構造であり層毎に異なるスパース率を設定することができる．一律のスパース率で設計する方法や，人間が経験則によってスパース率を設計する方法があるが，認識精度を維持しつつリアルタイム処理を実現するための目的の推論レイテンシを保障するようなスパース率を決定することは容易ではない．本稿では，層毎のスパース率と CNN 全体の計算量の関係を定式化することにより，目的の計算量を達成するスパース率の設計方法を提案する．さらに認識精度を最大化するような層毎のスパース率を，ベイズ最適化を用いて最適化する方法を提案する．ResNet18 モデルを用いた最適化の実験では，異なる複数の目的計算量に対して，提案するベイズ最適化を用いた最適化が最大で 2.47 ポイント精度を改善することが示された．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: CNNs have a multi-layer structure, and different sparsity ratios can be set for each layer. There are methods to design a uniform sparsity, or a human can design a sparsity-based on empirical rules, but it is not easy to determine a sparsity that guarantees the desired inference latency to achieve real-time processing while maintaining recognition accuracy. In this research, we formulate the relationship between the sparsity of each layer and the computational complexity of the entire CNN and propose a method for designing the sparsity that achieves the desired computational complexity. We propose a method to optimize the sparsity rate per layer such that recognition accuracy is maximized using Bayesian optimization. Experiment of optimization using the ResNet18 shows that the proposed Bayesian sparsity optimization achieves higher accuracy for several different target computational quantities.
• 書誌情報: DAシンポジウム2022論文集; 巻 2022, p. 108-112, 発行日 2022-08-24
• 出版者 / 言語: ja
• 出版者: 情報処理学会