WEKO3
アイテム
音響モデルの知識蒸留の際の正解ラベルの利用法
https://ipsj.ixsq.nii.ac.jp/records/197909
https://ipsj.ixsq.nii.ac.jp/records/1979091a1531d1-a58a-4cb3-8ee5-1bbb0bc4518c
| 名前 / ファイル | ライセンス | アクション |
|---|---|---|
IPSJ-SLP19127056.pdf (769.2 kB)
|
Copyright (c) 2019 by the Information Processing Society of Japan
|
|
| オープンアクセス | ||
| Item type | SIG Technical Reports(1) | |||||||
|---|---|---|---|---|---|---|---|---|
| 公開日 | 2019-06-15 | |||||||
| タイトル | ||||||||
| タイトル | 音響モデルの知識蒸留の際の正解ラベルの利用法 | |||||||
| 言語 | ||||||||
| 言語 | jpn | |||||||
| キーワード | ||||||||
| 主題Scheme | Other | |||||||
| 主題 | ポスターセッション2 | |||||||
| 資源タイプ | ||||||||
| 資源タイプ識別子 | http://purl.org/coar/resource_type/c_18gh | |||||||
| 資源タイプ | technical report | |||||||
| 著者所属 | ||||||||
| デンソーアイティーラボラトリ | ||||||||
| 著者名 |
太刀岡, 勇気
× 太刀岡, 勇気
|
|||||||
| 論文抄録 | ||||||||
| 内容記述タイプ | Other | |||||||
| 内容記述 | 小規模（生徒）モデル学習時に，高精度（教師）モデルの教師ラベルとして使う知識蒸留処理により，書き起こしを元としたハードラベルに基づく学習よりも性能が向上する．本稿では，これに加えてハードラベルを利用するため，ハードラベルの損失関数と教師ラベルの損失関数を発話ごとに確率的に選択して使う方法（Sequence-level distillation; SD）と，それらを内挿する方法（Sequence-level interpolation; SI）を比較し，SIの方が性能が一貫してよいことを示した．また温度パラメータとともにアニーリングを行うと，さらに性能が向上した． | |||||||
| 書誌レコードID | ||||||||
| 収録物識別子タイプ | NCID | |||||||
| 収録物識別子 | AN10442647 | |||||||
| 書誌情報 |
研究報告音声言語情報処理（SLP） 巻 2019-SLP-127, 号 56, p. 1-3, 発行日 2019-06-15 |
|||||||
| ISSN | ||||||||
| 収録物識別子タイプ | ISSN | |||||||
| 収録物識別子 | 2188-8663 | |||||||
| Notice | ||||||||
| SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc. | ||||||||
| 出版者 | ||||||||
| 言語 | ja | |||||||
| 出版者 | 情報処理学会 | |||||||
