ジェスチャの自動生成におけるフェイクとリアルの判別

• Item type: SIG Technical Reports(1)
• 公開日: 2023-05-11
• タイトル: ジェスチャの自動生成におけるフェイクとリアルの判別
• タイトル / 言語: en
• タイトル: Discriminating between fake and real gestures in automatic gesture generation
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: セッション1
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 青山学院大学
• 著者所属: 青山学院大学
• 著者所属: 青山学院大学
• 著者所属(英): en
• 著者所属(英): Aoyama Gakuin University
• 著者所属(英): en
• 著者所属(英): Aoyama Gakuin University
• 著者所属(英): en
• 著者所属(英): Aoyama Gakuin University
• 著者名: 牟, 耕; 金子, 直史; 鷲見, 和彦
• 著者名(英): Geng, Mu; Naoshi, Kaneko; Kazuhiko, Sumi
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 近年，擬人化エージェントやロボットとのコミュニケーションにおいて，ジェスチャは非常に重要な役割を果たしている．これらの人工的な存在が人間との会話をする際に，ジェスチャを使うことでより自然なコミュニケーションを実現することが期待されている．しかし，これらのジェスチャを自動的に生成する技術が発展するにつれ，その生成されたジェスチャが不正な目的に悪用される可能性が高まっている．このような背景から本研究では，自動生成されたジェスチャ（フェイク）と人間が行ったジェスチャ（リアル）を判別する手法を提案する．具体的には，既存のデータ駆動ジェスチャ生成手法を利用して生成したフェイクジェスチャと，姿勢推定で取得したリアルジェスチャからなるデータセットを構築し，スケルトンベースの行動認識モデルを訓練することで，フェイクとリアルの判別を行う手法を提案する，異なる話し方をする 25 人 251 時間の音声，文字，画像情報から，3 種類の最新のフェイクジェスチャ生成法を使って生成した学習データセットを用いて，行動認識のネットワークに Real/Fake の判別問題として学習させたところ，未学習のフェイクジェスチャ生成アルゴリズムが生成したものを 99.72% の精度で検出することに成功した．この手法により，ジェスチャ自動生成技術の進歩に伴って生じる悪用のリスクを軽減することが期待される．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: In recent years, gestures play a crucial role in communication with anthropomorphized agents and robots. The use of gestures by these artificial entities during conversations with humans is expected to facilitate more natural communication. However, as technologies for automatically generating these gestures advance, there is an increasing risk of generated gestures being exploited for malicious purposes. In this context, this study proposes a method for distinguishing between automatically generated (fake) gestures and human-performed (real) gestures.Specifically, we have constructed a dataset consisting of fake gestures generated using existing data-driven gesture generation methods and real gestures obtained through pose estimation. By training a skeleton-based action recognition model on this dataset, we propose a method for distinguishing between fake and real gestures. Utilizing a learning dataset generated by three different fake gesture generation methods from 25 speakers with different speaking styles and 251 hours of audio, text, and image information, we trained the action recognition network as a real/fake discrimination problem. This approach successfully detected unlearned fake gestures generated by other algorithms with an accuracy of 99.72%. This approach is anticipated to mitigate the risk of misuse arising from the advancements in gesture generation technology, providing a foundation for safer and more authentic interactions in human-robot communication.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AA11131797
• 書誌情報: 研究報告コンピュータビジョンとイメージメディア（CVIM）; 巻 2023-CVIM-234, 号 8, p. 1-5, 発行日 2023-05-11
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8701
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会