口唇映像を用いたマルチモーダル音声認識における構音障害者のための話者適応の検討

• Item type: SIG Technical Reports(1)
• 公開日: 2026-05-29
• タイトル / 言語: ja
• タイトル: 口唇映像を用いたマルチモーダル音声認識における構音障害者のための話者適応の検討
• タイトル / 言語: en
• タイトル: Speaker Adaptation for Dysarthric Speakers in Multimodal Speech Recognition Using Lip Movements
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: SLP
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 岡山大学
• 著者所属: 岡山大学
• 著者所属(英): en
• 著者所属(英): Okayama University
• 著者所属(英): en
• 著者所属(英): Okayama University
• 著者名: 木山,大輔; 原,直
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 本研究では，構音障害者の会話支援を目的として，日本語における特定話者の音声認識精度の向上を目指す．構音障害者の発声は健常者とは大きく異なり，発話が不明瞭となる傾向があるため，従来の音声認識技術では高精度な認識が困難である．そこで，口唇映像と音声の両モダリティを利用した視聴覚音声認識（Audio-Visual Speech Recognition：AVSR）に着目し，AV-HuBERTを基盤とした段階的ファインチューニング手法を提案する．さらに，ターゲット話者の学習データ量を変化させ，データによる話者適応の効果を検証する．本手法では，まず健常話者の日本語データを用いた言語適応，次に複数の構音障害話者による話者非依存適応，最後にターゲット話者による話者依存適応を行う．評価指標には音素誤り率（Phoneme Error Rate: PER）を用いる．実験の結果，AV-HuBERTが日本語への適応に成功していることが確認された．また，構音障害話者への適応評価では，提案方式が最も低いPERを示した．さらに，ターゲット話者の学習データは約50文で大きな性能改善が得られ，それ以上の増加による効果は限定的であった．これにより，少量データでの話者適応の有効性が示された．
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10442647
• 書誌情報: 研究報告音声言語情報処理（SLP）; 巻 2026-SLP-160, 号 12, p. 1-7, 発行日 2026-05-29
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8663
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会