複数画像特徴量を用いた読唇システム―オプテイカルフロー特徴・形状特徴・離散コサイン変換特徴の統合の検討―

• Item type: SIG Technical Reports(1)
• 公開日: 2014-02-24
• タイトル: 複数画像特徴量を用いた読唇システム―オプテイカルフロー特徴・形状特徴・離散コサイン変換特徴の統合の検討―
• タイトル / 言語: en
• タイトル: Automatic Lip-Reading by using Multiple Visual Features -Integration of the Shape, Optical Flaw and DCT features-
• 言語: jpn
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 早稲田大学国際情報通信研究科
• 著者所属: 早稲田大学国際情報通信研究科
• 著者所属(英): en
• 著者所属(英): Waseda University Graduate School of Global Information and Telecommunication Studies.
• 著者所属(英): en
• 著者所属(英): Waseda University Graduate School of Global Information and Telecommunication Studies.
• 著者名: 高橋, 昌平; 大谷, 淳
• 著者名(英): Shohei, Takahashi; Jun, Ohya
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 本論文では，動画像から唇の情報を読み取り画像特徴のみを用いて会話の内容を認識する手法を述べる．画像による会話認識では、ノイズの影響が大きい車の中や，聴覚，視覚障碍者にも有益である．提案手法では，初めに顔と唇を含んだ動画像に Active Shape Model を適用し顔と唇領域の追跡を行う．追跡された唇から，オプティカルフロー，形状、離散コサイン変換といった唇の特徴を抽出する．抽出された特徴は階層型 SVM の中間層の SVM によって学習認識され，認識結果が最下層の SVM によって統合され最終認識結果となる．複数の画像特徴を用いることによって，認識結果が向上することが実験結果で示された．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: In the paper, we present a lip-reading method that can recognize speech by using only visual features. Lip-reading can work well in noisy places such as in the car or in the train. In addition people with hearing-impaired or difficulties in hearing can be benefited. First, the Active Shape Model (ASM) is applied to track and detect the face and lip in a video sequence. Second, three visual features, the shape, optical flow and Discreet cosine transformation of the lip are obtained from the lip area detected by ASM. The extracted features are ordered chronologically so that Support Vector Machine (SVM) is performed so as to learn and classify the spoken words. Hierarchical SVMs are used to recognize the words. Each visual feature is trained by the respective middle-layer SVM, and those outputs of SVM's are integrated by the final SVM. Experimental results show that the integration of these features improves the recognition accuracy.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AA11131797
• 書誌情報: 研究報告コンピュータビジョンとイメージメディア（CVIM）; 巻 2014-CVIM-191, 号 7, p. 1-7, 発行日 2014-02-24
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会