エアギターパフォーマンスからのTDPTを使ったギター演奏アバタの自動生成

• Item type: SIG Technical Reports(1)
• 公開日: 2023-08-31
• タイトル: エアギターパフォーマンスからのTDPTを使ったギター演奏アバタの自動生成
• タイトル / 言語: en
• タイトル: An Automatic Generation of Guitar Playing Avatar using TDPT from Air Guitar Performance
• 言語: jpn
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 湘南工科大学情報学部情報学科
• 著者所属: 湘南工科大学情報学部情報学科
• 著者所属(英): en
• 著者所属(英): Department of Informatics, Shonan Institute of Technology
• 著者所属(英): en
• 著者所属(英): Department of Informatics, Shonan Institute of Technology
• 著者名: 上野, 雄大; 宮川, 勲
• 著者名(英): Yuuta, Ueno; Isao, Miyagawa
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 本研究は，YouTube 配信と同様に手軽な操作と低コストな機材を使って，個性のある音楽ライブをメタバース空間において実現することを目標とする．本稿では，エア演奏動作に合わせてギターを弾くアバターを自動的に生成する方法を提案する．我々のアプローチは，TDPT（ThreeDPoseTracker）を使ってカメラ映像から人体のサンプル点の 3 次元座標を取得する．ユーザのエアギターパフォーマンスに応じて，我々の方法はサンプル点の動きにリンクしたギター演奏のアバターを生成する．実験では，高性能なモーションキャプチャシステムを使ったアバター生成と比較し，提案方法の有用性を示す．実験結果により，我々の方法が画像シーケンスからギター演奏アバターを忠実にリアルタイムで再現することを示す．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: We aim to realize unique live music performances in a metaverse space with easy operation and low-cost equipment. It provides live music performances that reflect individuality as with streaming a live video on personal YouTube channel. We propose a method to automatically generate an avatar that plays a guitar in accordance with the movements of an air musical performance. Our approach introduces TDPT (ThreeDPoseTracker) to obtain 3D coordinates of sample points defined on a human body by using single camera. Our method generates an avatar with playing a guitar linked to the motion of the sample points in response to user's air guitar performances. Our experiments demonstrate the usefulness of the proposed method by comparing it to avatar generation using a high-performance motion capture system. Our experimental results show that our method faithfully reproduces guitar performance avatars from image sequence in real time.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10438399
• 書誌情報: 研究報告オーディオビジュアル複合情報処理（AVM）; 巻 2023-AVM-122, 号 1, p. 1-6, 発行日 2023-08-31
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8582
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会