2026-05-21T08:32:21Z https://ipsj.ixsq.nii.ac.jp/oai

oai:ipsj.ixsq.nii.ac.jp:00218453 2025-01-19T15:09:25Z 1164:5064:10822:10948

Tranducer型ストリーミング音声認識におけるMask-CTCを用いた事前学習 An Investigation of Enhancing Transducer-based Streaming ASR with Mask-CTC Pre-training 趙, 懐博 樋口, 陽祐 木田, 祐介 小川, 哲司 小林, 哲則 Huaibo, Zhao Yosuke, Higuchi Yusuke, Kida Tetsuji, Ogawa Tetsunori, Kobayashi ポスターセッション4 Transducer 型の End-to-End 音声認識モデルを Mask-CTC を用いて事前学習することで，低遅延で高精度なストリーミング音声認識を実現することを試みた．Transducer に基づく End-to-End 音声認識モデルは，入力音声の各フレームに対してトークンの予測を行うフレーム同期型のモデルであり，Acoustic Encoder における先読み範囲を制御することで，ストリーミングによる認識が可能となる．このとき，Acoustic Encoder として Transformer などの大域的な注意機構を用いるネットワークを用いる場合，先読み範囲を長く取る (将来の文脈を考慮する) と高い認識精度が得られる一方で，遅延量は増大する．そこで本研究では，低遅延かつ高精度なストリーミング音声認識の実現を目指し，Transducer 型モデルにおける Acoustic Encoder の事前学習に Mask-CTC を利用することを試みた．Mask-CTC は，将来の情報を含む長期的な文脈を考慮した音響特徴表現を抽出可能にする枠組みであり，Acoustic Encoder の事前学習に利用することで，先読み範囲を短くすることが望ましいストリーミング音声認識に適した音響特徴表現を学習しやくすなることを期待する．提案法の有効性を実証するために，Wall Street Journal と TED-LIUM2 を用いて音声認識実験を行ったところ，提案モデルは遅延を短く抑えながら高い認識精度を与えることがわかった． 情報処理学会 2022-06-10 jpn technical report https://ipsj.ixsq.nii.ac.jp/records/218453 2188-8752 AN10438388 研究報告音楽情報科学（MUS） 2022-MUS-134 61 1 6 https://ipsj.ixsq.nii.ac.jp/record/218453/files/IPSJ-MUS22134061.pdf application/pdf 320.6 kB 2024-06-10