Conformerを用いた早期結合型マルチモーダル音声認識モデルの提案

• Item type: SIG Technical Reports(1)
• 公開日: 2022-10-15
• タイトル: Conformerを用いた早期結合型マルチモーダル音声認識モデルの提案
• タイトル / 言語: en
• タイトル: Conformer based early fusion model for audio-visual speech recognition
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: 高齢者福祉工学
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 東京理科大学大学院理工学研究科情報科学専攻
• 著者所属: 東京理科大学大学院理工学研究科情報科学専攻
• 著者所属: 東京理科大学大学院理工学研究科情報科学専攻
• 著者所属: 東京理科大学大学院理工学研究科情報科学専攻
• 著者所属(英): en
• 著者所属(英): Department of Information Sciences, Tokyo University of Science
• 著者所属(英): en
• 著者所属(英): Department of Information Sciences, Tokyo University of Science
• 著者所属(英): en
• 著者所属(英): Department of Information Sciences, Tokyo University of Science
• 著者所属(英): en
• 著者所属(英): Department of Information Sciences, Tokyo University of Science
• 著者名: 青木, 伸和; 澤田, 隼; 大村, 英史; 桂田, 浩一
• 著者名(英): Nobukazu, Aoki; Shun, Sawada; Hidefumi, Ohmura; Kouichi, Katsurada
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 先行手法である Conformer エンコーダーを用いた late fusion モデルのマルチモーダル音声認識では，視覚情報と音声情報の双方で独立した Conformer エンコーダーを使用しているため，両モダリティ間の低レベルな関係を考慮した学習ができていない可能性があった．そこで本研究では Conformer エンコーダーを用いた early fusion 型の End-to-End マルチモーダル音声認識モデルを検討し，モダリティ間の低レベルな関係を学習可能にすることで性能向上を図る．その結果，先行研究に対して特に低 SNR 下での認識精度が大幅に向上することを確認できた．また，early fusion によってモデルのパラメータ数も大幅に削減できることを確認した．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: Previous studies of late fusion models with conformer encoders use independent encoders for both visual and audio information, which may prevent the encoders from capturing the low-level relation of both information. In this study, we investigate an end-to-end audio-visual speech recognition model with early fusion using a conformer encoder to improve its performance. We aim at utilizing the information of both modalities in the low-level process of feature extraction. The experimental results show that the accuracy of early fusion in recognition rate under low SNR outperforms that of late fusion proposed in the previous studies. We also confirmed that the total number of parameters in the model can be reduced by introducing early fusion.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10442647
• 書誌情報: 研究報告音声言語情報処理（SLP）; 巻 2022-SLP-143, 号 3, p. 1-6, 発行日 2022-10-15
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8663
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会