2026-05-12T19:23:03Z https://ipsj.ixsq.nii.ac.jp/oai

oai:ipsj.ixsq.nii.ac.jp:00216854 2025-01-19T15:42:42Z 1164:8666:10876:10877

ディープ・ラーニングを用いた手話認識に関する研究－CTC とConformerの比較－ A Study on Sign Recognition Using Deep Learning－Comparison between CTC and Conformer－ 磯谷, 光 木村, 勉 神田, 和幸 Hikaru, Isogai Tsutomu, Kimura Kazuyuki, Kanda 聴覚・言語障害支援(2) 本研究では機械学習を用いた手話認識において，手話文中で使用されている単語の認識を目的とする．手話文中に発生する遷移動作を考慮して学習するために，手話文を学習データとして機械学習を行い，学習済みモデルを作成する．本研究では音声認識における手法である Connectionist Temporal Classification (CTC) を組み込んだモデルと，自然言語処理で活用される Transformer を利用した Conformer ネットワークを使用したモデルの 2 つの手法で実験した．最終的にテストデータ全体の認識率は CTC 手法が約 74%，Conformer 手法が約 32% となった．しかし，Conformer 手法の認識結果は過学習のような現象が見られ，正常に動作していない可能性があると考えた．今後は Conformer 手法の改善を進めつつ，Transformer と CTC を組み合わせた新たなアルゴリズムについても検討する． In this study, our purpose is to recognize signs using machine learning. In order to take into account the transition motions that occur in a sign sentence, machine learning adopts the sign sentences as training data, and a trained model is created. We experimented two models: one that incorporates Connectionist Temporal Classification (CTC) which is a method used in speech recognition, and the other is a conformer model that uses a transformer used in natural language processing. As the result, the recognition rate for the entire test data was about 74% by the CTC method and about 32% by the Conformer method. However, the recognition results of the Conformer method showed a phenomenon as over-learning, and we estimated that it might worked properly. We will improve the Conformer method and will investigate a new algorithm that combines the Transformer with CTC. technical report 情報処理学会 2022-03-01 application/pdf 研究報告アクセシビリティ（AAC） 8 2022-AAC-18 1 6 2432-2431 AA12752949 https://ipsj.ixsq.nii.ac.jp/record/216854/files/IPSJ-AAC22018008.pdf jpn