3D-CNNを用いた口形認識に関する研究

• Item type: SIG Technical Reports(1)
• 公開日: 2020-10-15
• タイトル: 3D-CNNを用いた口形認識に関する研究
• タイトル / 言語: en
• タイトル: 3D-CNN-based mouth shape recognition for patient with intractable neurological diseases
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: 福祉情報工学・一般2
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 九州工業大学
• 著者所属: 九州工業大学
• 著者所属: 国立障害者リハビリテーションセンター研究所
• 著者所属(英): en
• 著者所属(英): Kyushu Institute of Technology
• 著者所属(英): en
• 著者所属(英): Kyushu Institute of Technology
• 著者所属(英): en
• 著者所属(英): Research Institute, National Rehabilitation Center for Persons with Disabilities
• 著者名: 中村, 祐哉; 齊藤, 剛史; 伊藤, 和幸
• 著者名(英): Yuya, Nakamura; Takeshi, Saitoh; Kazuyuki, Itoh
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 本研究では，筋萎縮性側索硬化症（ALS）等の神経難病患者のコミュニケーションの代替法として用いられている口文字コミュニケーションの支援システムの開発を目的として研究を進めている．先行研究では，幾何学特徴量とオプティカルフローを用いた動き特徴量を提案し，SVM による口形認識手法を提案した．しかし，十分な認識精度が得られない問題があった．本論文では深層学習の一種である 3D-CNN を導入する．3D-CNN の入力には，カラー画像のみでなく，オプティカルフローを適用して求まるフロー画像も利用して，両画像の CNN モデルの出力を統合する口形認識手法を提案する．神経難病患者 8 名の発話シーンを収集して認識実験を行った結果，平均認識率 77% を得た．口の動きが少なく目視でも口形認識が難しい患者および撮影時に問題があった患者の 2 名を除くと，平均認識率は 85% であり提案手法の有効性を示した．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: We are studying to develop a support system for mouth-shape character method which is used patients with intractable neurological diseases such as amyotrophic lateral sclerosis (ALS). In the previous research, we proposed both geometric features and motion-based features, and proposed a mouth shape recognition method using SVM. However, there was a problem that enough recognition accuracy could not be obtained. In this paper, we introduce 3D-CNN, which is a kind of deep learning. As for the input data of CNN, not only the color image but also the flow image obtained by applying the optical flow is used, and two outputs of two CNN models are inte- grated. We collected speech scenes of eight patients with intractable neurological diseases and conducted recognition experiments. As a result, an average recognition rate of 77% was obtained.Excluding the two patients; one had difficulty in recognizing the mouth shape even by human due to little movement of the mouth, and the other had problem on shooting, the average recognition rate of 85% was obtained. We demonstrated the effectiveness of the proposed method.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10442647
• 書誌情報: 研究報告音声言語情報処理（SLP）; 巻 2020-SLP-133, 号 9, p. 1-6, 発行日 2020-10-15
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8663
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会