@techreport{oai:ipsj.ixsq.nii.ac.jp:00220339,
 author = {青木, 伸和 and 澤田, 隼 and 大村, 英史 and 桂田, 浩一 and Nobukazu, Aoki and Shun, Sawada and Hidefumi, Ohmura and Kouichi, Katsurada},
 issue = {3},
 month = {Oct},
 note = {先行手法である Conformer エンコーダーを用いた late  fusion モデルのマルチモーダル音声認識では，視覚情報と音声情報の双方で独立した Conformer エンコーダーを使用しているため，両モダリティ間の低レベルな関係を考慮した学習ができていない可能性があった．そこで本研究では Conformer エンコーダーを用いた early fusion 型の End-to-End マルチモーダル音声認識モデルを検討し，モダリティ間の低レベルな関係を学習可能にすることで性能向上を図る．その結果，先行研究に対して特に低 SNR 下での認識精度が大幅に向上することを確認できた．また，early  fusion によってモデルのパラメータ数も大幅に削減できることを確認した．, Previous studies of late fusion models with conformer encoders use independent encoders for both visual and audio information, which may prevent the encoders from capturing the low-level relation of both information. In this study, we investigate an end-to-end audio-visual speech recognition model with early fusion using a conformer encoder to improve its performance. We aim at utilizing the information of both modalities in the low-level process of feature extraction. The experimental results show that the accuracy of early fusion in recognition rate under low SNR outperforms that of late fusion proposed in the previous studies. We also confirmed that the total number of parameters in the model can be reduced by introducing early fusion.},
 title = {Conformerを用いた早期結合型マルチモーダル音声認識モデルの提案},
 year = {2022}
}