離散トークンを入力とする音声認識のためのフロントエンド音声強調

• Item type: SIG Technical Reports(1)
• 公開日: 2025-12-08
• タイトル / 言語: ja
• タイトル: 離散トークンを入力とする音声認識のためのフロントエンド音声強調
• タイトル / 言語: en
• タイトル: Noise Robust Speech Recognition Using Discrete Speech Tokens Through Frontend Speech Enhancement
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: 音声認識一般
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: NTT株式会社
• 著者所属: NTT株式会社
• 著者所属: NTT株式会社
• 著者所属: NTT株式会社
• 著者所属: NTT株式会社
• 著者所属(英): en
• 著者所属(英): NTT, Inc.
• 著者所属(英): en
• 著者所属(英): NTT, Inc.
• 著者所属(英): en
• 著者所属(英): NTT, Inc.
• 著者所属(英): en
• 著者所属(英): NTT, Inc.
• 著者所属(英): en
• 著者所属(英): NTT, Inc.
• 著者名: 芦原,孝典; 堀口,翔太; 松浦,孝平; 落合,翼; デルクロア,マーク
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 離散音声表現は，その圧縮率の高さから音声認識(ASR)や音声言語モデルなど，様々な音声処理タスクの入力として利用されている．例えば，意味的あるいは音素的な情報を担う離散表現(トークン)は，自己教師あり学習(SSL)モデルの潜在表現に対してクラスタリングを適用することで生成される．しかしそのような離散表現は，従来の音声特徴量と同様に背景雑音の影響を受け，音声処理精度を劣化させる．そこで本稿では，雑音下音声を入力とし，その雑音の影響を抑圧した離散トークンを推定する音声強調をフロントエンドとして導入し，その有効性をトークンを入力とするASRで評価する．具体的にはその入出力ドメインに基づいて，4種類のフロントエンド(波形→波形，トークン→トークン，SSL連続特徴量→トークン，波形→トークン)を比較する．CHiME-4データセットを用いた実験の結果，波形→トークン型のフロントエンドとの組み合わせが最も高い認識精度を示した．さらに，ほとんどの評価セットにおいて，SSL連続特徴量を入力とする従来のASRシステムをも上回った．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: Discretized representations of speech signals are efficient alternatives to continuous features for various speech applications, including automatic speech recognition (ASR) and speech language models. However, these representations, such as semantic or phonetic tokens derived from clustering outputs of self-supervised learning (SSL) speech models, are susceptible to environmental noise, which can degrade backend task performance. In this work, we introduce a frontend system that estimates clean speech tokens from noisy speech and evaluate it on an ASR backend using semantic tokens. We consider four types of enhancement models based on their input/output domains: wave-to-wave, token-to-token, continuous SSL features-to-token, and wave-to-token. These models are trained independently of ASR backends. Experiments on the CHiME-4 dataset demonstrate that wave-to-token enhancement achieves the best performance among the frontends. Moreover, it mostly outperforms the ASR system based on continuous SSL features.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10442647
• 書誌情報: 研究報告音声言語情報処理（SLP）; 巻 2025-SLP-158, 号 32, p. 1-7, 発行日 2025-12-08
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8663
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会