ベイズ最適化と蒸留を用いた最適な圧縮モデル探索手法の提案

• Item type: SIG Technical Reports(1)
• 公開日: 2021-02-22
• タイトル: ベイズ最適化と蒸留を用いた最適な圧縮モデル探索手法の提案
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: UBI
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 慶應義塾大学環境情報学部
• 著者所属: 慶應義塾大学大学院政策・メディア研究科
• 著者所属: 慶應義塾大学大学院政策・メディア研究科
• 著者所属: 慶應義塾大学環境情報学部
• 著者所属(英): en
• 著者所属(英): Faculty of Environment and Information Studies, Keio University
• 著者所属(英): en
• 著者所属(英): Graduate School of Media and Governance, Keio University
• 著者所属(英): en
• 著者所属(英): Graduate School of Media and Governance, Keio University
• 著者所属(英): en
• 著者所属(英): Faculty of Environment and Information Studies, Keio University
• 著者名: 別宮, 広朗; 小澤, 遼; 大越, 匡; 中澤, 仁
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 近年，DeepLearning 技術が急激に発達し高精度なニューラルネットワークモデルが多数出現しており，IoT デバイス等の様々なデバイスへ搭載することが期待される．ニューラルネットワークモデルは層や重みパラメータが多いほど精度が向上する傾向があり，高精度なモデルは推論時間が長くなる場合が多い．計算資源の限られた IoT デバイス等の小型端末に搭載するためには，限られた計算資源でも軽快に動作するモデルの構築が求められる．推論時間を削減する手法の一つとして，蒸留という手法が存在する．蒸留は高精度な教師モデルの知識を小さい生徒モデルに学習させてニューラルネットワークの圧縮を行う技術である．しかし，生徒モデルの任意性は高くトレードオフな関係にある推論速度と精度を両立するようなモデルの発見は困難である．また，実際に小型端末に搭載する上で，アプリケーションの目的に応じて推論速度や精度の重要度も変わるため，目的に応じた圧縮を行える必要がある．そのため本研究では，推論速度と精度に最低値を設定した探索や推論速度と精度に比重を置いた探索を行うことを可能とする評価関数を定義し，ベイズ最適化を用いて，推論速度を重視，または精度を重視等の目的に応じた圧縮のための最適な生徒モデルの探索手法を提案し，検証実験を行う．更に，圧縮モデルの推論速度と精度の探索パレート最適解によって得られた，圧縮モデルが達成できる限界値の曲線を可視化する．
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AA11851388
• 書誌情報: 研究報告モバイルコンピューティングとパーベイシブシステム（MBL）; 巻 2021-MBL-98, 号 10, p. 1-8, 発行日 2021-02-22
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8817
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会