アルゴリズム・ハードウェア協調設計によるベイジアン畳み込みニューラルネットワークの高速化

• Item type: SIG Technical Reports(1)
• 公開日: 2021-07-13
• タイトル: アルゴリズム・ハードウェア協調設計によるベイジアン畳み込みニューラルネットワークの高速化
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: ニューラルネットワーク
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 東京大学大学院情報理工学系研究科
• 著者所属: 東京大学大学院情報理工学系研究科
• 著者名: 藤原, 良樹; 高前田, 伸也
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 従来のニューラルネットワークにおける不確実性の問題を解決するために，ベイジアン畳み込みニューラルネットワーク（BCNN）が提案されている．BCNN では，重みを決定的な値ではなく分布として扱うことで，オーバーフィッティング，少量のデータでの学習，不確実性評価の問題に対処することができるようになる．しかし，BCNN の出力分布を計算するには，複数のフォワードパスを計算する必要があるため，多くの時間とエネルギーを消費してしまう．この問題を解決するため，近似アルゴリズムとハードウェアサポートを備えた新しいアルゴリズム・ハードウェア協調設計による BCNN の高速化を提案する．各層の入力の値と複数のフォワードパス間の入力の差の絶対値を観測した結果，これらの値のほとんどは，それ以外の一部の大きな値に比べて著しく小さくなることがわかった．提案アルゴリズムでは，これらの小さな値を 0 として扱い，スパースにする．このようにして抽出されたスパース性により，ほとんどの乗算を省略することができる．その結果，分類タスクでは 81.1%，回帰タスクでは 77.7% の計算の削減を実現した．さらに，アルゴリズムレベルの近似をハードウェア上でサポートするために，本アルゴリズムに特化した新しいデータフローを提案し，アルゴリズムによって抽出されたスパース性を扱うことができる新しいアクセラレータアーキテクチャ ASBNN を開発した．評価の結果，ASBNN はアルゴリズムによる計算削減を効率良く活用し，BCNN アクセラレータの素朴な実装に比べて，計算速度を 3.3 倍，エネルギー効率を 3.7 倍改善することがわかった．
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10096105
• 書誌情報: 研究報告システム・アーキテクチャ（ARC）; 巻 2021-ARC-245, 号 19, p. 1-9, 発行日 2021-07-13
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8574
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会