手話映像解析に基づく異言語手話への自動変換・CG提示に関する研究

• Item type: SIG Technical Reports(1)
• 公開日: 2023-11-09
• タイトル: 手話映像解析に基づく異言語手話への自動変換・CG提示に関する研究
• タイトル / 言語: en
• タイトル: Research on automatic different sign language conversion and CG presentation based on sign language video analysis－
• 言語: jpn
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 鹿児島大学理工学研究科
• 著者所属: 鹿児島大学理工学研究科
• 著者所属: 鹿児島大学理工学研究科
• 著者所属: 鹿児島大学理工学研究科
• 著者所属: 鹿児島大学理工学研究科
• 著者所属(英): en
• 著者所属(英): Graduate School of Science and Engineering, Kagoshima University
• 著者所属(英): en
• 著者所属(英): Graduate School of Science and Engineering, Kagoshima University
• 著者所属(英): en
• 著者所属(英): Graduate School of Science and Engineering, Kagoshima University
• 著者所属(英): en
• 著者所属(英): Graduate School of Science and Engineering, Kagoshima University
• 著者所属(英): en
• 著者所属(英): Graduate School of Science and Engineering, Kagoshima University
• 著者名: 宮田, 将光; 西, 正満; 福元, 伸也; 鹿嶋, 雅之; 渡辺, 睦
• 著者名(英): Masamitsu, Miyata; Masamitsu, Nishi; Shinya, Fukumoto; Masayuki, Kashima; Mutsumi, Watanabe
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 手話は聴覚障がい者のための視覚言語であるが，国によって言語が異なるため，異国の手話者同士でコミュニケーションをとることは困難である．しかし，異言語であっても表情や挙動の大きさで意味が変化するという点は共通している．本研究では，異言語手話への変換と CG 提示を目的に，動画像認識による単語認識を行い，認識結果に基づき異言語に置換したものを繋げて会話文を生成し，予め登録したアバターにより CG 提示を行う．手の動きの解析のみならず，手話者の挙動の大きさや表情の変化も認識し，CG に反映する．現時点では簡易的な手話文での評価実験によりシステム全体の流れや CG の動きにおける基本的な有効性を確認した．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: Sign languages vary from country to country, making it difficult for signers from different countries to communicate with each other. However, the meaning of any sign language changes depending on the magnitude of facial expression and behavior. In this paper, for the purpose of conversion to a different sign language, after word recognition by video recognition, the language is substituted and CG is presented by a pre-registered avatar. The CG reflected changes in the magnitude of facial expressions and behaviors. At present, we have confirmed the basic effectiveness of the system through evaluation experiments using simple sign language sentences.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10100541
• 書誌情報: 研究報告コンピュータグラフィックスとビジュアル情報学（CG）; 巻 2023-CG-192, 号 36, p. 1-6, 発行日 2023-11-09
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8949
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会