話者適応による聴覚障害者音声認識の評価

• Item type: SIG Technical Reports(1)
• 公開日: 2024-02-22
• タイトル: 話者適応による聴覚障害者音声認識の評価
• タイトル / 言語: en
• タイトル: Evaluation of Automatic Speech Recognition for Deaf and Hard-of-Hearing People by Speaker Adaptation.
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: ポスターセッション2 SP/SLP
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 豊橋技術科学大学
• 著者所属: 豊橋技術科学大学
• 著者所属: 豊橋技術科学大学
• 著者所属: 阿南工業高等専門学校
• 著者所属: 大和大学
• 著者所属: 豊橋技術科学大学
• 著者所属(英): en
• 著者所属(英): Toyohashi University of Technology
• 著者所属(英): en
• 著者所属(英): Toyohashi University of Technology
• 著者所属(英): en
• 著者所属(英): Toyohashi University of Technology
• 著者所属(英): en
• 著者所属(英): National Institute of Technology, Anan College.
• 著者所属(英): en
• 著者所属(英): Yamato University
• 著者所属(英): en
• 著者所属(英): Toyohashi University of Technology
• 著者名: 高橋, 快斗; 木内, 貴浩; 若林, 佑幸; 太田, 健吾; 小林, 彰夫; 北岡, 教英
• 著者名(英): Kaito, Takahashi; Takahiro, Kinouchi; Yukoh, Wakabayashi; Kengo, Ohta; Akio, Kobayashi; Norihide, Kitaoka
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 健聴者と聴覚障害者とのコミュニケーションには，一般に手話，筆談，音声認識などが用いられる．聴覚障害者の半数以上が音声を用いて意思疎通を行っていると報告されている．従って，聴覚障害者音声に対して高精度の音声認識を行うことが求められている．しかしながら，健聴者音声で学習された音声認識モデルは，聴覚障害者音声に対して，高い認識精度を得ることができない．そこで，本研究では，聴覚障害者音声に対して，高精度の音声認識を行うために，データ拡張によって自己教師あり学習モデルの高精度化を行った．さらに，各話者の音声をファインチューニングすることによる話者適応の評価実験を行った．その結果，多言語の音声で自己教師あり学習された XLS-R を日本語健聴者音声で追加事前学習し，健聴者音声，聴覚障害者音声と合成音声を続けて二段階ファインチューニングしたモデルが聴覚障害者音声において最も精度が高かった．そして，このモデルを話者適応をすることで，それによる認識精度の向上率や，精度向上限界を明らかにした．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: Communication between normal-hearing people and the deaf is generally used sign language, written communication, and speech recognition. More than half of the deaf are reported to use speech to communicate. Therefore, high-accuracy speech recognition is required for deaf speech. However, speech recognition models trained with normal-hearing speech cannot achieve high accuracy for deaf speech. In addition, we conducted an evaluation experiment of speech recognition by speaker adaptation by fine-tuning with each speaker’s speech. As a result, the model that was pre-trained with Japanese normal-hearing speech by self-supervised learning of multilingual speech, fine-tuned with normal-hearing speech, deaf speech, and synthesized speech in succession was the most accurate for deaf speech. Then, by adapting this model to each speaker, we clarified the improvement rate of recognition accuracy and the limit of accuracy improvement.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10442647
• 書誌情報: 研究報告音声言語情報処理（SLP）; 巻 2024-SLP-151, 号 56, p. 1-6, 発行日 2024-02-22
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8663
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会