CTC音響モデルのためのシーケンスレベル知識蒸留法の検討

• Item type: SIG Technical Reports(1)
• 公開日: 2018-10-03
• タイトル: CTC音響モデルのためのシーケンスレベル知識蒸留法の検討
• タイトル / 言語: en
• タイトル: Sequence-level Knowledge Distillation for CTC Acoustic models
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: デベロッパーズフォーラム1
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 情報通信研究機構／現在，日立製作所
• 著者所属: 情報通信研究機構
• 著者所属: 情報通信研究機構
• 著者所属(英): en
• 著者所属(英): National Institute of Information and Communications Technology (NICT) / Presently with Hitachi Ltd.
• 著者所属(英): en
• 著者所属(英): National Institute of Information and Communications Technology (NICT)
• 著者所属(英): en
• 著者所属(英): National Institute of Information and Communications Technology (NICT)
• 著者名: 高島, 遼一; 李, 勝; 河井, 恒
• 著者名(英): Ryoichi, Takashima; Sheng, Li; Hisashi, Kawai
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 本報告では，CTC 音響モデルのための知識蒸留法について検討する．従来の知識蒸留法では音声フレームごと独立に，教師モデルとのクロスエントロピーを最小化することで生徒モデルを学習しているが，我々の先行研究により，従来のフレームレベルでの知識蒸留法は CTC 音響モデルには有効に働かず，発話シーケンス単位でクロスエントロピーを最小化するシーケンスレベル知識蒸留法であれば有効に働くことが明らかとなった．本報告では，シーケンスレベル知識蒸留法の実装方法として，N-best ベースの手法とラティスベースの手法について検討し，比較を行う．またモデル圧縮実験および耐雑音音響モデル学習の実験において，シーケンスレベル知識蒸留法の性能を評価する．
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10442647
• 書誌情報: 研究報告音声言語情報処理（SLP）; 巻 2018-SLP-124, 号 1, p. 1-6, 発行日 2018-10-03
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8663
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会