バイモーダル音声認識のためのモデル合成に基づく統合法と適応化

• Item type: SIG Technical Reports(1)
• 公開日: 2000-12-21
• タイトル: バイモーダル音声認識のためのモデル合成に基づく統合法と適応化
• タイトル / 言語: en
• タイトル: An Adaptive Integration Method Based on Product HMM for Bi - modal Speech Recognition
• 言語: jpn
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: ATR音声言語通信研究所／奈良先端科学技術大学院大学情報科学研究科
• 著者所属: ATR音声言語通信研究所
• 著者所属: 奈良先端科学技術大学院大学情報科学研究科
• 著者所属(英): en
• 著者所属(英): ATR Spoken Language Translation Research Laboratory/Nara Institute of Science and Technology
• 著者所属(英): en
• 著者所属(英): ATR Spoken Language Translation Research Laboratory
• 著者所属(英): en
• 著者所属(英): Nara Institute of Science and Technology
• 著者名: 熊谷建一; 中村, 哲; 鹿野, 清宏
• 著者名(英): Kenichi, Kumatani; Satoshi, Nakamura; Kiyohiro, Shikano
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 近年，音声認識の性能は大きく改善されたが，さらに，音声のSNRが低い雑音環境での高い音声認識性能が求められている．そのような環境に適した音声認識システムとして，音声情報と唇周辺の動画像を用いたバイモーダル音声認識が注目されている．このようなシステムを構築するためには，音声情報と画像情報の統合が重要な問題となる．統合においては，(1)音声を発話する前に発声の準備のために唇が動き，発話が終わった後に遅れて唇が閉じるといったような，音声と唇周辺の動きの非同期性，(2)周辺環境に応じたシステムの適応化，といった問題がある．本稿では，まず(1)の問題に対し，音声と唇周辺の動きの非同期性を考慮するHMM合成に基づいた統合を行う．次に(2)の問題に対しては，GPDアルゴリズムを用い，少数の環境適応用のデータ（以下適応データ）からストリーム重みを推定することを検討する．音響的な雑音がある場合について，単語認識実験を行った結果，認識性能が改善されることが示された．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: In recent years, there has been higher demands for Automatic Speech recognition system operated robustly in the various noisy environments. Therefore, many researchers have interest in the bimodal speech recognition by using not only the audio but also the visual information extracted from the sequence of the speaker's lip images. To realize the bimodal speech recognition, it is important to integrate effectively the audio and visual information. In integrating them, "(1) Synchronization of the audio and visual information, (2) Adaptability of the system, adjusting to changes in environment" are important issues. In the problem of (1), each feature of the speech and lip movement has the time lag, and has the correlation. For such the problem, we introduce the integration method using HMM composition. In (2), we have examined that the stream weight can be adaptively estimated by GPD algorithm. The evaluation experiment shows that the proposed method improves recognition accuracy of noisy speech.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10442647
• 書誌情報: 情報処理学会研究報告音声言語情報処理（SLP）; 巻 2000, 号 119(2000-SLP-034), p. 67-72, 発行日 2000-12-21
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会