広帯域用ニューラルネットワーク音響モデル群から狭帯域用音響モデルへの知識蒸留

• Item type: SIG Technical Reports(1)
• 公開日: 2018-02-13
• タイトル: 広帯域用ニューラルネットワーク音響モデル群から狭帯域用音響モデルへの知識蒸留
• 言語: jpn
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 日本IBM東京基礎研究所
• 著者所属: 日本IBM東京基礎研究所
• 著者所属: 日本IBM東京基礎研究所
• 著者所属: IBM T. J. Watson Research Center
• 著者所属: IBM T. J. Watson Research Center
• 著者名: 福田, 隆; 鈴木, 雅之; 倉田, 岳人; Samuel, Thomas; Bhuvana, Ramabhadran
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 本報告では，複数の教師ニューラルネットワーク音響モデルから，高速処理を目的としたコンパクトな生徒音響モデルに知識を蒸留する方法を提案する．教師モデルには，LSTM や VGG といったレイテンシーは低いが認識精度の高いネットワークを用い，そこから効果的に知識を蒸留することを目的とする．提案法は，(1) ミニバッチ単位での教師ソフトラベルの切り替え，および (2) 各学習データサンプルに対して複数の教師ラベルを割り当てるデータ増強戦略の二つから成る．実験では，知識蒸留によって学習されたコンパクトかつ高速な CNN 音響モデルが，VGG や BLSTM などの教師モデルに迫る認識性能を示すことを述べる．次に本報告では，狭帯域用音響モデルの構築を目的として，情報量がより豊富な広帯域用の教師音響モデルからの知識蒸留を試みる．Aurora 4 を用いた雑音環境下認識実験において，提案手法は狭帯域教師モデルのみを用いた知識蒸留法と比較して，相対的に 5.8% の改善が得られた．
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10438388
• 書誌情報: 研究報告音楽情報科学（MUS）; 巻 2018-MUS-118, 号 15, p. 1-6, 発行日 2018-02-13
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8752
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会