2026-06-07T07:58:03Z https://ipsj.ixsq.nii.ac.jp/oai

oai:ipsj.ixsq.nii.ac.jp:00227609 2025-01-19T12:07:28Z 1164:3616:11132:11347

エアギターパフォーマンスからのTDPTを使ったギター演奏アバタの自動生成 An Automatic Generation of Guitar Playing Avatar using TDPT from Air Guitar Performance 上野, 雄大 宮川, 勲 Yuuta, Ueno Isao, Miyagawa 本研究は，YouTube 配信と同様に手軽な操作と低コストな機材を使って，個性のある音楽ライブをメタバース空間において実現することを目標とする．本稿では，エア演奏動作に合わせてギターを弾くアバターを自動的に生成する方法を提案する．我々のアプローチは，TDPT（ThreeDPoseTracker）を使ってカメラ映像から人体のサンプル点の 3 次元座標を取得する．ユーザのエアギターパフォーマンスに応じて，我々の方法はサンプル点の動きにリンクしたギター演奏のアバターを生成する．実験では，高性能なモーションキャプチャシステムを使ったアバター生成と比較し，提案方法の有用性を示す．実験結果により，我々の方法が画像シーケンスからギター演奏アバターを忠実にリアルタイムで再現することを示す． We aim to realize unique live music performances in a metaverse space with easy operation and low-cost equipment. It provides live music performances that reflect individuality as with streaming a live video on personal YouTube channel. We propose a method to automatically generate an avatar that plays a guitar in accordance with the movements of an air musical performance. Our approach introduces TDPT (ThreeDPoseTracker) to obtain 3D coordinates of sample points defined on a human body by using single camera. Our method generates an avatar with playing a guitar linked to the motion of the sample points in response to user's air guitar performances. Our experiments demonstrate the usefulness of the proposed method by comparing it to avatar generation using a high-performance motion capture system. Our experimental results show that our method faithfully reproduces guitar performance avatars from image sequence in real time. 情報処理学会 2023-08-31 jpn technical report https://ipsj.ixsq.nii.ac.jp/records/227609 2188-8582 AN10438399 研究報告オーディオビジュアル複合情報処理（AVM） 2023-AVM-122 1 1 6 https://ipsj.ixsq.nii.ac.jp/record/227609/files/IPSJ-AVM23122001.pdf application/pdf 6.4 MB 2025-08-31