常微分方程式を用いたニューラルネットワークのFPGA実装の検討

• Item type: SIG Technical Reports(1)
• 公開日: 2020-10-05
• タイトル: 常微分方程式を用いたニューラルネットワークのFPGA実装の検討
• タイトル / 言語: en
• タイトル: A Case for FPGA Implementation of ODE-Based Neural Networks
• 言語: jpn
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 慶應義塾大学大学院理工学研究科
• 著者所属: 慶應義塾大学大学院理工学研究科
• 著者所属(英): en
• 著者所属(英): Graduate School of Science and Technology, Keio University
• 著者所属(英): en
• 著者所属(英): Graduate School of Science and Technology, Keio University
• 著者名: 渡邉, 寛悠; 松谷, 宏紀
• 著者名(英): Hirohisa, Watanabe; Hiroki, Matsutani
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: ODE-Net とは，深層学習における ResNet を常微分方程式の解法の一種であるオイラー法であるとみなし，ResNet における積層構造を，常微分方程式のソルバーに置換，パラメータ数の削減や，ソルバーの切り替えによる精度と速度のトレードオフの取捨選択が可能になるという利点が挙げられる．これらの利点は，資源の限られたエッジデバイスでの推論の高速化や，パラメータ数を維持したままでの深層学習モデルの高精度化や，あるいは精度を落とさずに，パラメータ数の削減等が期待できる点である．しかしながら，この ODE-Net は，通常の深層学習モデルとはことなり，勾配の計算時に，誤差逆伝播法以外の手法を使用し，また，勾配の計算時にもソルバーを使用するという特徴がある．従って，通常の深層学習モデルとは，推論や学習，アーキテクチャの変化に伴って，ボトルネックの箇所が変化し得る．そのため，本論文では，オイラー法と 2 次ルンゲクッタ法，4 次ルンゲクッタ法に対して実行時間と精度に対する解析を行い，ソルバーの実行がボトルネックとなっていることを示した．また，オイラー法を Pynq-Z2 の FPGA に実装した場合，オイラー法の実行時間における性能向上が 5.913 倍となることを見積もりに基づく評価によって示した．
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10096105
• 書誌情報: 研究報告システム・アーキテクチャ（ARC）; 巻 2020-ARC-242, 号 9, p. 1-6, 発行日 2020-10-05
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8574
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会