MetaHumanを用いた構音訓練用口腔内ビジュアライザの試作と評価

• Item type: SIG Technical Reports(1)
• 公開日: 2024-03-04
• タイトル: MetaHumanを用いた構音訓練用口腔内ビジュアライザの試作と評価
• タイトル / 言語: en
• タイトル: Prototype and Evaluation of a Speech Organs Visualizer for Speech Therapy Education using MetaHuman
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: 可視化
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 久留米工業大学
• 著者所属: 九州大学病院
• 著者所属: 九州大学病院
• 著者所属: 大阪保健医療大学
• 著者所属: 山本歯科医院
• 著者所属: 九州大学病院
• 著者所属(英): en
• 著者所属(英): Kurume Institute of Technology
• 著者所属(英): en
• 著者所属(英): Kyushu University Hospital
• 著者所属(英): en
• 著者所属(英): Kyushu University Hospital
• 著者所属(英): en
• 著者所属(英): Osaka Health Science University
• 著者所属(英): en
• 著者所属(英): Yamamoto Dental Clinic
• 著者所属(英): en
• 著者所属(英): Kyushu University Hospital
• 著者名: 工藤, 達郎; 長谷川, 幸代; 田尻, 姿穂; 藤原, 百合; 山本, 一郎; 工藤, 孔梨子
• 著者名(英): Tatsuro, Kudo; Sachiyo, Hasegawa; Shiho, Tajiri; Yuri, Fujiwara; Ichiro, Yamamoto; Kuriko, Kudo
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 構音訓練において，発声時の音声器官の形状や動きを理解することは重要である．既存の教材は主に 2 次元画像が使用されており，口腔内の 3 次元表現には限界があった．そこで本研究では MetaHuman Technology（Epic Games, Inc）を用いて口腔内の形状や動作を可視化する試みと評価を行った．対象とした音声は構音訓練の基本となる [タ]，[テ]，[ト] である．健常者 10 名が発音する様子を前方と斜めから撮影し，映像データを参照しながら Unreal Engine（v.4.72，v5.2.1）の Control Rig と Sequencer の機能を用いて音声器官の 3DCG アニメーションを作成した．その後「口腔内のみ」「舌のみ」など表示形式を自由に選択しながら，任意の視点から観察できる可視化環境を構築した．構築したシステムは，口腔内の音声器官の形状や動きを理解する能力について専門家 4 名へのインタビューにより評価された．舌の動きや空気の流れが立体的に可視化され分かりやすいと評価されたが，舌の端のみを上げる動作など，構音訓練において重要だが既存パラメータでは再現できない舌の形状も明らかとなった．今後もデータ取得法や舌のモデルを改良し，高品質な可視化システムの開発に取り組む．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: It is important to understand the complex shape and movement of speech organs in the oral cavity for speech therapy. However, most existing study materials are two-dimensional, affording only a limited representation of complex shape and movement of speech organs in the oral cavity. In recent years, MetaHuman Technology (Epic Games, Inc), a platform that can present a realistic human body in real-time by adjusting body parameters, was recently developed. In this study, we report our attempt to visualize the oral cavity using MetaHuman as part of articulation intervention. The target speech sounds were [ta], [te], and [to], which form the basis of speech therapy. First, video recordings were taken of ten Japanese-speaking adults without speech and hearing problems. Using the typical speakers as a guide, we applied the Control Rig and Sequencer features of the Unreal Engine (v.4.72, v5.2.1) to generate computer graphic animations of MetaHuman's mouth. In addition, we have created a user interface that allows observation from any viewpoint while freely selecting display formats such as “oral cavity only” and “tongue only”. The constructed system was evaluated by the four experts in terms of its ability to understand the shape and movement of speech organs in the oral cavity. All experts evaluated the system favorably in terms of “ability to observe tongue movement from various angles,” “clear representation of airflow,” and “usefulness in clinical practice with magnified image of the face and translucent oral cavity.” However, there are some tongue shapes that are important in articulation training but cannot be reproduced with existing parameters, such as bilateral bracing and central groove formation. We will continue refining high-quality visualization systems for speech therapy.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AA1221543X
• 書誌情報: 研究報告ヒューマンコンピュータインタラクション（HCI）; 巻 2024-HCI-207, 号 17, p. 1-6, 発行日 2024-03-04
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8760
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会