@techreport{oai:ipsj.ixsq.nii.ac.jp:00057461,
 author = {熊谷建一 and 中村, 哲 and 鹿野, 清宏 and Kenichi, Kumatani and Satoshi, Nakamura and Kiyohiro, Shikano},
 issue = {119(2000-SLP-034)},
 month = {Dec},
 note = {近年，音声認識の性能は大きく改善されたが，さらに，音声のSNRが低い雑音環境での高い音声認識性能が求められている．そのような環境に適した音声認識システムとして，音声情報と唇周辺の動画像を用いたバイモーダル音声認識が注目されている．このようなシステムを構築するためには，音声情報と画像情報の統合が重要な問題となる．統合においては，(1)音声を発話する前に発声の準備のために唇が動き，発話が終わった後に遅れて唇が閉じるといったような，音声と唇周辺の動きの非同期性，(2)周辺環境に応じたシステムの適応化，といった問題がある．本稿では，まず(1)の問題に対し，音声と唇周辺の動きの非同期性を考慮するHMM合成に基づいた統合を行う．次に(2)の問題に対しては，GPDアルゴリズムを用い，少数の環境適応用のデータ（以下適応データ）からストリーム重みを推定することを検討する．音響的な雑音がある場合について，単語認識実験を行った結果，認識性能が改善されることが示された．, In recent years, there has been higher demands for Automatic Speech recognition system operated robustly in the various noisy environments. Therefore, many researchers have interest in the bimodal speech recognition by using not only the audio but also the visual information extracted from the sequence of the speaker's lip images. To realize the bimodal speech recognition, it is important to integrate effectively the audio and visual information. In integrating them, "(1) Synchronization of the audio and visual information, (2) Adaptability of the system, adjusting to changes in environment" are important issues. In the problem of (1), each feature of the speech and lip movement has the time lag, and has the correlation. For such the problem, we introduce the integration method using HMM composition. In (2), we have examined that the stream weight can be adaptively estimated by GPD algorithm. The evaluation experiment shows that the proposed method improves recognition accuracy of noisy speech.},
 title = {バイモーダル音声認識のためのモデル合成に基づく統合法と適応化},
 year = {2000}
}