変分自己符号化器を用いた発話時の動作生成の研究

• Item type: SIG Technical Reports(1)
• 公開日: 2023-11-09
• タイトル: 変分自己符号化器を用いた発話時の動作生成の研究
• タイトル / 言語: en
• タイトル: Co-speech Gesture Generation with Variational Auto Encoder
• 言語: jpn
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 東京工業大学
• 著者所属: 東京工業大学
• 著者所属(英): en
• 著者所属(英): School of Computing, Tokyo Institute of Technology
• 著者所属(英): en
• 著者所属(英): School of Computing, Tokyo Institute of Technology
• 著者名: 賈, 辰一; 篠田, 浩一
• 著者名(英): Shinichi, Ka; Koichi, Shinoda
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 発話時の動作生成は，発話音声に対応するジェスチャーを生成する研究である．従来研究の手法は大きく分けて二つある．決定論的手法は音声と動作の一対一の写像を学習させ，確率論的手法は音声から動作の生成確率をモデル化する．前者は確実に音声に忠実な動作を推論することができるが，一つの音声から一つの動作しか生成しない．後者は多様な動作生成ができるが，音声に対して忠実でない動作が生成されうる．本稿では，確率論的な手法の一つである変分自己符号化器において，話者の ID を与えた訓練で動作の個人性を学習させ，さらにランダム化の処理を施す手法を提案する．変分自己符号化器を用いて評価した FID が 52.8% 向上し，またより多様な動作生成に成功した．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: Co-speech gesture generation is the study of generating gestures from speech. In prior works, deterministic methods learn a one-to-one mapping between speech and motion, and probabilistic methods model the probability of motions. While the former can infer the motion corresponding to the speech, it only generates one motion. In contrast, the latter can generate many motions, but it generates motions that don’t match the speech. In this paper, we will propose the probabilistic method by training VAE with the speaker’s information and randomizing it. Consequently, the fidelity of VAE is improved, and it can generate more diverse motions.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10100541
• 書誌情報: 研究報告コンピュータグラフィックスとビジュアル情報学（CG）; 巻 2023-CG-192, 号 34, p. 1-6, 発行日 2023-11-09
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8949
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会