WEKO3
アイテム
Knowledge Distillationにおける温度パラメータの適正化に関する検討
https://ipsj.ixsq.nii.ac.jp/records/194906
https://ipsj.ixsq.nii.ac.jp/records/194906e89af9a3-b4c7-40a0-8ca6-56656417ee9c
| 名前 / ファイル | ライセンス | アクション |
|---|---|---|
IPSJ-CVIM19216010.pdf (888.3 kB)
|
Copyright (c) 2019 by the Information Processing Society of Japan
|
|
| オープンアクセス | ||
| Item type | SIG Technical Reports(1) | |||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 公開日 | 2019-02-28 | |||||||||||||
| タイトル | ||||||||||||||
| タイトル | Knowledge Distillationにおける温度パラメータの適正化に関する検討 | |||||||||||||
| 言語 | ||||||||||||||
| 言語 | jpn | |||||||||||||
| キーワード | ||||||||||||||
| 主題Scheme | Other | |||||||||||||
| 主題 | 一般セッション | |||||||||||||
| 資源タイプ | ||||||||||||||
| 資源タイプ識別子 | http://purl.org/coar/resource_type/c_18gh | |||||||||||||
| 資源タイプ | technical report | |||||||||||||
| 著者所属 | ||||||||||||||
| NEC中央研究所 | ||||||||||||||
| 著者所属 | ||||||||||||||
| NEC中央研究所 | ||||||||||||||
| 著者所属 | ||||||||||||||
| NEC中央研究所 | ||||||||||||||
| 著者所属 | ||||||||||||||
| NEC中央研究所 | ||||||||||||||
| 著者名 |
石井, 遊哉
× 石井, 遊哉
× 中野, 学
× 井下, 哲夫
× 高橋, 勝彦
|
|||||||||||||
| 論文抄録 | ||||||||||||||
| 内容記述タイプ | Other | |||||||||||||
| 内容記述 | ディープニューラルネットワークのモデル圧縮手法のひとつに，knowledge distillation と呼ばれる手法がある．教師モデルのスコアを疑似的に底上げする温度パラメータは，一般に全学習サンプルで一定の値が用いられるが，サンプルごとにスコアの最大値や最小値は異なるため，適切な温度もサンプルごとに異なると考えられる．本稿では，教師モデルのスコアに関する関数として温度を定義することで，サンプルごとに異なる温度を設定する手法を提案する．Cifar10 および Cifar100 で実験を行い，全サンプルに対して同一の温度を用いる従来手法と認識精度の比較を行った結果，Cifar100 において最大で 0.65% の精度向上を確認した． | |||||||||||||
| 書誌レコードID | ||||||||||||||
| 収録物識別子タイプ | NCID | |||||||||||||
| 収録物識別子 | AA11131797 | |||||||||||||
| 書誌情報 |
研究報告コンピュータビジョンとイメージメディア（CVIM） 巻 2019-CVIM-216, 号 10, p. 1-5, 発行日 2019-02-28 |
|||||||||||||
| ISSN | ||||||||||||||
| 収録物識別子タイプ | ISSN | |||||||||||||
| 収録物識別子 | 2188-8701 | |||||||||||||
| Notice | ||||||||||||||
| SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc. | ||||||||||||||
| 出版者 | ||||||||||||||
| 言語 | ja | |||||||||||||
| 出版者 | 情報処理学会 | |||||||||||||
