注意機構を用いたエンコーダ層の重みづけによるCTC音声認識モデルの性能改善

• Item type: SIG Technical Reports(1)
• 公開日: 2024-06-07
• タイトル: 注意機構を用いたエンコーダ層の重みづけによるCTC音声認識モデルの性能改善
• タイトル / 言語: en
• タイトル: Improving CTC-based ASR model by weighting encoder layers using attention mechanisms
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: ポスターセッション2
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 豊橋技術科学大学
• 著者所属: 豊橋技術科学大学
• 著者所属: 阿南工業高等専門学校
• 著者所属: 日本電信電話株式会社
• 著者所属: 豊橋技術科学大学
• 著者所属(英): en
• 著者所属(英): Toyohashi University of Technology
• 著者所属(英): en
• 著者所属(英): Toyohashi University of Technology
• 著者所属(英): en
• 著者所属(英): National Institute of Technology, Anan College
• 著者所属(英): en
• 著者所属(英): Nippoin Telegraph and Telephone Corporation
• 著者所属(英): en
• 著者所属(英): Toyohashi University of Technology
• 著者名: 北條, 圭悟; 若林, 佑幸; 太田, 健吾; 小川, 厚徳; 北岡, 教英
• 著者名(英): Keigo, Hojo; Yukoh, Wakabayashi; Kengo, Ohta; Atsunori, Ogawa; Norihide, Kitaoka
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 本論文では，Connectionist Temporal Classification（CTC）に基づいた音声認識における，注意機構を用いたエンコーダ層の重みづけによる精度改善のための手法を提案する．先行研究は，音響エンコーダのいくつかの中間層出力を選択してモデルの学習に利用することで CTC モデルの精度が改善することを明らかにしている．我々は，全てのエンコーダ層の中間出力を用いた CTC モデルの精度改善のための手法を提案する．具体的には，Transformer エンコーダ層の役割に注目し，エンコーダを下位層と上位層に分割した上で，各エンコーダ層の中間出力に対し注意機構を用いた重みづけを行い，下位層では音響的特徴を，上位層では言語的特徴を考慮して学習する．エンコーダを 2 つのグループに分けることで，音響的特徴と言語的特徴の両方を考慮した損失計算が可能になると期待される．提案手法は標準的な CTC モデルに対し，相対的に約 10 ％の単語誤り率の低減を達成した．また，Real-time factor（RTF）の測定から，提案手法は推論速度のわずかな増加だけで従来手法の認識精度を上回った．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: This paper addresses improving the performance of Connectionist temporal classification (CTC)-based automatic speech recognition (ASR) models, which leverage the intermediate outputs of all encoder layers with an attention mechanism. Several previous studies have used the intermediate outputs of the encoder layer to modify CTC-based models. We focus on the role of the Transformer encoder layer, and each encoder layer is computed for two CTC losses by weighting the intermediate outputs of its lower and upper layers using an attention mechanism. Our method outperformed the conventional methods with only slightly increased inference speed measured by Real-time factor (RTF).
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10438388
• 書誌情報: 研究報告音楽情報科学（MUS）; 巻 2024-MUS-140, 号 73, p. 1-6, 発行日 2024-06-07
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8752
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会