@techreport{oai:ipsj.ixsq.nii.ac.jp:00209597,
 author = {別宮, 広朗 and 小澤, 遼 and 大越, 匡 and 中澤, 仁},
 issue = {10},
 month = {Feb},
 note = {近年，DeepLearning 技術が急激に発達し高精度なニューラルネットワークモデルが多数出現しており，IoT デバイス等の様々なデバイスへ搭載することが期待される．ニューラルネットワークモデルは層や重みパラメータが多いほど精度が向上する傾向があり，高精度なモデルは推論時間が長くなる場合が多い．計算資源の限られた IoT デバイス等の小型端末に搭載するためには，限られた計算資源でも軽快に動作するモデルの構築が求められる．推論時間を削減する手法の一つとして，蒸留という手法が存在する．蒸留は高精度な教師モデルの知識を小さい生徒モデルに学習させてニューラルネットワークの圧縮を行う技術である．しかし，生徒モデルの任意性は高くトレードオフな関係にある推論速度と精度を両立するようなモデルの発見は困難である．また，実際に小型端末に搭載する上で，アプリケーションの目的に応じて推論速度や精度の重要度も変わるため，目的に応じた圧縮を行える必要がある．そのため本研究では，推論速度と精度に最低値を設定した探索や推論速度と精度に比重を置いた探索を行うことを可能とする評価関数を定義し，ベイズ最適化を用いて，推論速度を重視，または精度を重視等の目的に応じた圧縮のための最適な生徒モデルの探索手法を提案し，検証実験を行う．更に，圧縮モデルの推論速度と精度の探索パレート最適解によって得られた，圧縮モデルが達成できる限界値の曲線を可視化する．},
 title = {ベイズ最適化と蒸留を用いた最適な圧縮モデル探索手法の提案},
 year = {2021}
}