Facial Inpaintingを用いた手話CG表情制御手法の提案

• Item type: SIG Technical Reports(1)
• 公開日: 2023-02-23
• タイトル: Facial Inpaintingを用いた手話CG表情制御手法の提案
• タイトル / 言語: en
• タイトル: Facial Animation Control for Japanese Sign Language CG using Facial Inpainting Method
• 言語: jpn
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: NHK放送技術研究所
• 著者所属: NHK放送技術研究所
• 著者所属: NHK放送技術研究所
• 著者所属: NHK放送技術研究所
• 著者名: 箱崎, 浩平; 村上, 智哉; 金子, 浩之; 佐野, 雅規
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 人の手話表現を CG アニメーションにより再現する技術 (手話 CG) の研究を進めている．手話で情報を伝えるには，手指の動きに加え，顔の動きが重要である．このため手話話者の表情を CG キャラクタで再現することは，重要な課題となる．CG キャラクタの表情制御は，ヘッドマウントカメラや iPhone などで撮影した人物の表情画像を基に行われることが多い．しかし，手話では顔の近くで手指を動かして表現する動作が多くあるため，このような画像情報に基づく表情制御を適用した場合，画像中に映り込む手指が遮蔽となり表情制御を難しくしてしまう．そこで本研究では，手指による顔の部分的な遮蔽が発生した場合においても，遮蔽部分の表情を修復する Facial Inpainting を用いて手話 CG キャラクタの表情を制御する手法を提案する．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: We are developing a system which generates Japanese Sign Language (JSL) CG animation for providing sufficient information to the deaf and hard of hearing people. To tell them information, not only hands but also facial motion is important in sign language, but it's a challenge task to reproducing facial expression in CG animation. In previous works, a Head Mounted Camera (HMC) or an iPhone are used to take videos of a signer's face. But there are a log of hand's and finger's movements between face and camera, which causes occlusion for face. So, as for methods which use such the facial video to control CG character's facial movements, the occlusion is a problematic. To address this problem, we propose a method to create facial animation with facial inpainting which synthesis facial parts hidden by the occlusion.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AA11131797
• 書誌情報: 研究報告コンピュータビジョンとイメージメディア（CVIM）; 巻 2023-CVIM-233, 号 10, p. 1-6, 発行日 2023-02-23
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8701
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会