ディープ・ラーニングを用いた手話認識に関する研究－CTC とConformerの比較－

• Item type: SIG Technical Reports(1)
• 公開日: 2022-03-01
• タイトル: ディープ・ラーニングを用いた手話認識に関する研究－CTC とConformerの比較－
• タイトル / 言語: en
• タイトル: A Study on Sign Recognition Using Deep Learning－Comparison between CTC and Conformer－
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: 聴覚・言語障害支援(2)
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 豊田工業高等専門学校専攻科情報科学専攻
• 著者所属: 国立民族学博物館
• 著者所属: 国立民族学博物館
• 著者所属(英): en
• 著者所属(英): National Institute of Technology, Toyota Collage Advanced Course Computer Science Course
• 著者所属(英): en
• 著者所属(英): National Museum of Ethnology
• 著者所属(英): en
• 著者所属(英): National Museum of Ethnology
• 著者名: 磯谷, 光; 木村, 勉; 神田, 和幸
• 著者名(英): Hikaru, Isogai; Tsutomu, Kimura; Kazuyuki, Kanda
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 本研究では機械学習を用いた手話認識において，手話文中で使用されている単語の認識を目的とする．手話文中に発生する遷移動作を考慮して学習するために，手話文を学習データとして機械学習を行い，学習済みモデルを作成する．本研究では音声認識における手法である Connectionist Temporal Classification (CTC) を組み込んだモデルと，自然言語処理で活用される Transformer を利用した Conformer ネットワークを使用したモデルの 2 つの手法で実験した．最終的にテストデータ全体の認識率は CTC 手法が約 74%，Conformer 手法が約 32% となった．しかし，Conformer 手法の認識結果は過学習のような現象が見られ，正常に動作していない可能性があると考えた．今後は Conformer 手法の改善を進めつつ，Transformer と CTC を組み合わせた新たなアルゴリズムについても検討する．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: In this study, our purpose is to recognize signs using machine learning. In order to take into account the transition motions that occur in a sign sentence, machine learning adopts the sign sentences as training data, and a trained model is created. We experimented two models: one that incorporates Connectionist Temporal Classification (CTC) which is a method used in speech recognition, and the other is a conformer model that uses a transformer used in natural language processing. As the result, the recognition rate for the entire test data was about 74% by the CTC method and about 32% by the Conformer method. However, the recognition results of the Conformer method showed a phenomenon as over-learning, and we estimated that it might worked properly. We will improve the Conformer method and will investigate a new algorithm that combines the Transformer with CTC.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AA12752949
• 書誌情報: 研究報告アクセシビリティ（AAC）; 巻 2022-AAC-18, 号 8, p. 1-6, 発行日 2022-03-01
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2432-2431
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals， conferences， symposia， etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会